推荐 序 


我 之 前 也 看 过 很 多 数据 库 相关 的 图 书 ， 但 是 没有 一 本 能 像 这 本 书 一 样 ， 让 我 读 起 来 感觉 那么 轻松 愉快 ， 读 完 后 觉得 必须 要 收藏 一 本 作为 案头 必 备 。 
本 书 的 作者 是 互联 网 一 线 的 数据 库 开 发 、 运 维 专家 ， 书 中 的 内 容 是 其 对 10 多 年 工作 中 所 遇 问 题 的 思考 和 总 结 ， 围 绕 着 MySQL 徐 徐 展开 ， 犹 如 应 丁 解 牛 ， 对 MySQL 的 核心 允 辑 解释 得 相当 清晰 和 透彻 。 


本 书 以 一 个 数据 库 专家 的 视角 ， 解 析 其 观察 到 的 方方面面 ， 内 容 涉及 “业务 系统 设计 ” 
发 、 运 维 体系 的 相关 领域 都 有 一 个 概要 的 认识 。 这 种 提纲 


运 维 管理 者 的 角度 来 思考 问题 。 读 完全 书 ， 你 将 会 对 整个 


之 所 以 说 本 书 读 起 来 令 人 轻松 愉悦 ， 是 
UC 内 部 的 培训 资料 嘛 ， 有 很 强烈 的 亲切 感 。 


本 书 对 实战 中 的 很 多 问题 ， 都 给 出 了 详细 的 解 题 思路 ， 方 案 成 熟 、 观 点 中 肯 ， 体 现 了 对 技术 应 有 的 严 订 和 敬畏 ， 我 相信 对 从 


因为 书 中 提 及 的 很 多 问题 都 是 我 所 关心 的 ， 而 笔者 均 以 很 简练 的 


“ 运 维 管理 ”等 。 本 书 
者 领 的 


“测试 体系 ” 


语言 给 


予 了 


毫 不 夺 张 地 说 ，MySQL 开 源 项 目 推动 了 整个 互联 网 产品 的 发 


展 。 我 们 从 中 获 益 不 少 ， 同 时 也 深刻 体会 到 


回答 和 梳理 ， 让 人 理解 起 来 非常 清晰 、 不 费 到 


的 很 多 内 容 已 经 不 仅仅 是 从 一 个 DBA 的 角度 出 发 ， 更 多 的 是 从 一 个 系统 架构 师 和 
架构 ， 对 于 某 个 知识 领域 的 学 习 是 非常 有 价值 的 。 


。 我 边 看 边 忍 不 住 想 ， 这 风格 分 明 就 是 


的 参考 价值 。 


DBA 工 作 的 很 多 技术 人 员 来 说 ， 本 书 具有 非常 重 


由 分 享 精 神 对 社会 进步 的 贡献 。 从 晓 勇 写 的 这 本 书 中 ， 我 也 能 感受 到 这 一 分 享 理念 。 我 非常 赞 


赏 这 种 分 享 精神 ， 也 希望 更 多 的 技术 人 员 都 能 有 此 回报 社会 的 情怀 。 
20 年 前 ， 互 联网 刚刚 起 步 ， 工 程 师 是 靠 掌握 一 批 指令 和 娴熟 的 操作 来 执行 运 维 工作 的 。 现 如 今 ， 开 发 和 运 维 体系 已 经 渐 趋 成 熟 ， 不 少 企业 更 是 将 基础 运 维 工 作 交 给 云 服务 厂商 ， 研 发 和 运 维 人 员 得 以 从 
烦琐 的 技术 细节 中 解放 出 来 ， 从 而 更 专注 于 业务 分 析 和 产品 设计 ， 这 个 进步 是 巨大 的 。 
往 后 看 ,我 们 正 从 IT 时 代 过 渡 到 DT 时 代 。 在 DT 企业 中 ， 工 程 师 使 用 贝 叶 斯 变换 和 机 器 学 习 来 操作 数据 ， 就 好 比 当初 使 用 “if0http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach_ ebook/uncompressed/16038/OEBPS/Text/.….else()” 来 编写 程序 一 样 ， 巨 大 的 技术 变革 正在 来 | 临 。 
在 这 风起云涌 之 际 ， 技 术 让 我 们 再 次 感受 到 年 轻 和 无 知 ， 希 望 我 们 能 从 MySQL 出 发 ， 保 持 旺 盛 的 好 奇 心 和 探索 精神 ， 迈 向 下 一 个 靳 新 的 时 代 。 
梁 捷 (Jack) 


为 什么 要 写本 书 


本 书 


我 从 业 10 多 生 
书 ， 我 在 接触 MySQL 的 过 程 中 ， 也 感觉 市 


上 的 相关 


图 书 还 存在 一 些 不 足 ， 


H 


从 一 名 Oracle DBA 转 型 为 一 名 MySQL DBA， 从 传统 领域 转投 到 互联 网 公司 ， 即 便 我 之 前 有 丰富 的 经 验 ， 在 学 习 MySQL 的 过 程 中 


平 的 MySQL DBA 则 需要 时 间 、 知 识 、 技 能 、 经 验 和 意识 的 积累 。 


FE， 先 是 在 传统 行业 做 开发 工程 师 、 系 统管 理 员 、Oracle DBA，2008 


下 


性 


因 


难以 系统 化 地 学 习 MySQL。 


为 机 缘 巧 合 投身 互联 网 ， 开 始 从 事 MySQL 运 维 工 作 。 相 对 了 


UC 联合 创始 人 ， 神 马 搜 索 总 裁 


2016 年 12 月 


要 讲述 MySQL DBA 的 必 备 技能 ， 包 括 MySQL 的 安装 部 署 、 开 发 、 测 试 、 监 控 和 运 维 ， 此 外 ， 读 者 还 可 从 中 学 习 到 系统 架构 的 一 些 知识 。 


成 熟 的 商业 数据 库 ，MySQL 缺 乏 高 质量 的 技术 文档 和 


我 在 学 习 MySQL 的 过 程 中 ， 有 时 会 去 看 技术 论坛 ， 或 者 通过 MSN 群 等 聊天 工 


生 面 上 缺乏 高 质量 的 相关 


关于 MySQL DBA 实 战 的 书 的 人 很 少 ， 所 以 有 


书 不 足 为 奇 。2013 


FF 各 


和 咨询 他 人 一 些 问题 ， 也 得 到 过 一 些 朋 友 的 帮助 。 
F 初 ， 华 章 公 司 的 策划 编辑 杨 绣 国 


也 仍然 走 了 一 些 弯路 。 成 为 一 名 MySQL DBA 并 不 难 ， 但 成 为 一 名 高 水 


因 


国内 存在 一 批 高 素质 的 MySQL DBA， 但 由 于 各 种 现实 因素 ， 有 心 写 一 本 


瞄 到 我 ， 说 希望 我 能 写 一 本 关于 MySQL 的 书 ， 我 当时 很 犹豫 ， 虽 然 我 有 时 会 在 


网 上 回答 一 些 问题 ， 也 定期 撰写 个 人 博客 ， 但 是 ， 写 一 本 书 ， 对 于 我 来 说 ， 是 一 个 艰巨 的 任务 。 经 过 一 些 交 流 ， 我 慢 慢 明确 了 自己 的 想法 ， 其 实 我 一 直 是 想 写 一 本 书 的 ， 既 然 我 对 市 面 上 的 相关 图 书 不 太 满 
意 ， 那 么 就 自己 写 一 本 吧 ， 当 时 我 唯一 欠缺 的 是 写作 经 验 以 及 时 间 。 

我 写 这 本 书 的 目的 是 想 做 一 个 尝试 一 一 引领 感 兴趣 的 读者 进入 MySQIl 数 据 库 运 维 领 域 。 国 内 互联 网 行业 正在 高 速 发 展 ， 人 迫切 需要 大 量 的 MySQL 人 才 ， 希 望 这 本 书 可 以 帮助 一 些 读者 顺利 进入 数据 库 领 
域 。 而 且 ， 我 也 想 将 自己 的 一 些 心得 分 享 给 读者 ， 希 望 热爱 数据 库 技术 的 同行 们 在 工作 中 少 走 弯路 。 

在 技术 领域 工作 多 年 后 ， 文 字 写 作对 于 我 来 说 其 实 已 经 很 陌生 了 ， 弗 朗 西 斯 -培根 说 过 ，“ 阅 读 使 人 充实 ， 谈 论 使 人 机 敏 ， 写 作 使 人 精确 ”。 在 本 书 的 写作 的 过 程 中 ， 其 实 我 自己 也 获得 了 很 多 ， 不 仅 学 
到 了 更 多 的 知识 ， 对 于 自己 的 精神 也 是 一 种 洗礼 。 写 作 真 的 是 一 种 积极 而 富有 价值 的 创作 ， 我 们 只 有 正确 地 掌握 所 讲述 的 内 容 ， 才 能 为 言行 思想 带 来 正 能 量 。 


希望 在 这 个 世界 上 ， 有 越 来 越 多 的 人 愿意 分 享 ， 目 


能 享受 分 享 的 乐趣 。 


读者 对 象 


本 书 的 


要 读者 是 MySQL DBA， 在 现实 中 ， 许 多 公司 并 没有 配备 专职 的 数 H 


居 库 的 维护 工作 往往 也 是 


居 库 维护 人 员 ， 数 折 


发 工程 | 此 这 本 书 也 适用 于 他 们 。 


币 和 系统 管理 员 负 责 的 ， 因 


这 是 一 本 偏向 实战 的 技术 书籍 ， 不 会 过 多 地 涉及 技术 的 细节 和 原理 ， 我 会 尽量 直接 地 给 出 解决 方案 ;本 书 除了 讲 MySQL 技 能 ， 还 花 了 大 量 篇 幅 讲述 架构 ;本 书 不 仅 讲述 技术 ， 也 讲述 技术 之 外 的 一 些 运 


维 管理 规则 。 对 数据 库 的 使 用 、 维 护 和 管理 感 兴趣 的 运 维 工 程 师 、 架 构 师 、 运 维 经 理 、 开 发 工程 师 、 测 试 工程 师 都 可 以 将 本 书 作为 参考 
本 书 也 适合 希望 转行 到 数据 库 运 维 领 域 的 人 士 。 许 多 人 想 从 事 IT 工 作 ， 但 当下 时 间 宝 贵 ， 


大 家 的 学 习 成 本 。 


如 何 阅读 本 书 


选择 自己 感 兴趣 的 篇 章 ， 跳 过 自己 已 经 熟悉 的 内 容 。 


本 书 将 分 为 5 个 部 分 ， 分别 从 入 门 、 开 发 、 测 试 、 运 维 、 性 能 与 架构 这 几 个 方面 来 介绍 MySQL 的 使 


。 对 了 


第 一 部 分 讲述 了 MySQL 的 基础 架构 、 权 限 机 制 、 常 


的 存储 引擎 、 复 制 架构 、 安 装 及 常 


想 进入 一 个 行业 或 改变 职业 方向 ， 往 往 会 花费 


图 


书 ， 而 了 解 其 他 领域 会 有 助 于 你 的 职业 发 展 。 


巨大 的 时 间 成 本 ， 所 以 这 本 书 将 尽量 做 到 简单 、 易 懂 ， 以 节省 


初次 接触 MySQL 的 读者 ， 建 议 按照 章节 顺序 逐步 学 习 。 对 于 已 经 有 一 定 经 验 的 读者 ， 则 可 以 


命令 等 知识 。 如 果 读者 是 初次 接触 MySQL， 那 么 可 能 还 需要 在 这 一 部 分 上 花 一 些 时 间 。 在 掌握 Linux 和 MySQL 


的 基本 使 用 方法 之 后 ， 就 可 以 开始 第 二 部 分 的 学 习 了 。 


二 部 分 将 介绍 MySQl 数 据 库 开发 相关 的 基础 知识 和 技巧 。 基 础 知识 包括 关系 数据 模型 、 字 符 集 、 常 用 的 SQL 语法 、 范 式 、 索 引 和 事务 等 。 由 于 开发 的 领域 很 广 ， 所 以 本 部 分 仅仅 选取 了 一 些 常用 的 技 
巧 分 享 给 大 家 。 最 后 会 结合 实际 生产 ， 提 供 一 份 开发 规范 供 大 家 参考 。 


第 三 部 分 介绍 了 数据 库 基准 测试 所 需要 的 理论 知识 和 常用 的 


洛 


试 工具 。 本 部 分 将 介绍 一 个 MySQL 的 基准 测试 模型 。 


避 
习 
nk 


了 分 介绍 了 MySQL 运 维 工作 的 各 项 职责 : 监控 、 复 制 、 迁 移 、 升 级 、 备 份 和 恢复 ， 然 后 通过 一 些 案例 向 读者 传授 一 些 维护 技巧 及 处 理 问题 的 方法 。 读 者 还 将 学 习 到 | 规模 化 运 维 MySQL 的 一 些 知识 


和 规则 。 


第 五 部 分 介绍 了 性 能 调 优 的 一 些 理论 知识 ， 以 及 从 应 用 程序 到 数据 库 ， 再 到 存储 等 各 个 环节 的 优化 。 由 于 架构 和 性 能 优化 密切 相关 ， 本 部 分 也 介绍 了 一 些 MySQL DBA 需 要 熟悉 的 架构 优化 知识 。 初 次 
接触 MySQL 的 读者 对 于 架构 优化 的 内 容 可 能 会 感到 难以 理解 ， 但 随 着 经 验 的 增长 ， 再 理解 这 些 内 容 将 不 会 再 有 问题 。 


本 书 假设 读者 已 经 对 软 硬 件 有 了 一 定 的 认识 ， 掌 握 了 一 门 脚本 语言 ， 并 且 对 Unix 或 Linux 有 一 定 的 使 用 经 验 ， 对 于 数据 库 有 了 基本 的 认识 。 阅 读本 书 时 ， 读 者 不 需要 预先 准备 好 上 述 的 所 有 知识 ， 但 需要 
有 意识 地 在 阅读 本 书 之 外 不 断 地 补充 自己 的 基础 知识 。 我 会 对 以 上 内 容 做 深入 的 讲解 ， 但 如 果 读 者 有 基础 会 更 好 ， 好 的 基础 有 利于 快速 吸收 知识 和 深入 思考 问题 。 如 果 读者 还 不 会 使 用 Linux 和 编写 Shell 脚 
本 ， 那 么 ， 建 议 尽快 搭建 一 个 学 习 环境 。 


由 于 DBA 需 要 和 研发 、 测 试 、 产 品 、 运 营 、 监 控 等 团队 进行 合作 ， 所 以 对 于 相关 领域 所 涉及 的 数据 库 知 识 ， 本 书 也 会 做 一 些 介绍 。 但 是 ， 由 于 经 验 侧重 的 关系 ， 本 书 将 主要 从 DBA 的 角度 来 讲述 这 些 知 
识 和 技能 。 


本 书 主要 基于 MySQL 官 方 5.1 版 本 写作 ， 这 也 是 目前 最 流行 的 版 本 ， 我 会 补充 MySQL 最 新 版 本 的 少许 内 容 ， 但 跟踪 MySQL 新 版 本 更 合适 的 策略 是 关注 官方 发 布 的 新 特性 说 明 、 新 版 本 的 文档 手册 ， 跟 踪 
业内 专家 的 技术 博客 和 社交 媒体 等 。 


通过 阅读 本 书 ， 读 者 可 以 学 到 MySQL 的 许多 知识 ， 但 是 仅 通过 阅读 是 难以 获得 技能 和 经 验 的。 读者 需要 有 一 个 适合 自己 的 MySQL 测 试 环境 ， 并 能 够 不 断 地 思考 和 实践 自己 的 想法 ， 这 样 才能 够 掌握 技 
能 ， 并 得 到 属于 自己 的 经 验 。 


勘误 和 支持 


由 于 作者 的 水 平 有 限 ， 写 作 时 间 也 很 仓促 ， 书 中 难免 存在 一 些 错误 或 不 准确 的 地 方 ， 如 有 不 妥 之 处 ， 尽 请 读者 批评 指正 。 为 此 ， 我 特意 创建 了 在 线 支持 页 面 http://www.db110.com/。 你 可 以 将 书 中 的 
错误 发 布 在 勘误 表 页 面 ， 若 遇 到 任何 问题 ， 也 可 以 访问 Q&A 页 面 ， 我 将 尽量 在 线 上 为 你 提供 最 满意 的 解答 。 书 中 的 全 部 源 文件 都 将 发 布 在 这 个 网 站 上 。 如 果 你 有 更 多 的 宝贵 意见 ， 也 欢迎 你 发 送 邮 件 至 我 的 
邮箱 ucgary@gmailcom， 很 期 待 听 到 你 们 的 真挚 反馈 。 
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感谢 机 械 工 业 出 版 社 华章 公司 的 策划 编辑 杨 绣 国 的 努力 工作 ， 没 有 她 的 投入 和 耐心 ， 就 不 可 能 有 本 书 的 面世 。 本 书写 作 的 时 间 较 长 ， 我 有 时 会 充满 愧 效 ， 是 杨 绣 国 编辑 的 包容 和 鼓励 ， 最 终 引 导 我 顺利 
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感谢 UC 的 旧 同 事 ， 和 你 们 的 共事 ， 是 我 职业 生涯 最 宝贵 的 财富 ， 我 将 一 直 铭 记 在 心 。 


最 后 ， 我 要 感谢 我 的 家 人 和 朋友 ， 是 你 们 的 支持 ， 让 我 能 够 坚持 下 来 。 
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本 篇 首先 介绍 MySQL 的 应 用 领域 、 基 础 架构 和 版 本 ， 然 后 介绍 MySQIL 的 基础 知识 ， 如 查询 的 执行 过 程 、 权 限 机 制 、 连 接 、 存 储 引擎 ， 最 后 阐述 一 些 基础 概念 。 


第 1 章 ”理解 MySQL 


本 章 将 介绍 MySQL 的 一 些 常 识 ， 以 及 目前 MySQL 的 发 展现 状 。 然 后 简要 说 明 MySQL 的 基础 架构 、 存 储 引 警 、 运 行 机 制 ， 以 及 工作 中 应 该 如 何 使 用 MySQL， 为 后 面 章节 的 学 习 做 个 铺垫 。 


1.1 _ MySQL 介绍 


1.1.1 ”应 用 领域 和 适用 场景 


MySQL 是 目前 世界 上 最 流行 的 开源 关系 数据 库 。 在 国内 ，MySQL 大 量 应 用 于 互联 网 行业 ， 比 如 ， 大 家 所 熟知 的 百度 、 腾 讯 、 阿 里 、 京 东 、 网 易 、 新 浪 等 都 在 使 用 MySQL。 搜 索 、 社 交 、 电 商 、 游 戏 后 
端的 核心 存储 往往 都 是 MySQL， 有 的 具有 上 干 台 甚 至 几 干 台 MySQL 数 据 库 主 机 。 可 以 说 ， 支 撑 互 联网 公司 日 常 运转 的 主要 数据 库 就 是 MySQL。 近 年 来 ， 随 着 业务 的 发 展 ， 互 联网 公司 产生 了 许多 成 熟 的 架 
构 和 技术 ， 这 也 促使 MYySQL 不 断 变 得 更 加 成 熟 和 稳健 。 但 MySQL 的 应 用 并 未 局 限于 互联 网 应 用 ， 许 多 软件 开发 商 也 把 MySQL 集 成 到 了 自己 的 产品 中 ， 这 样 一 来 ， 传 统 行业 的 大 公司 也 都 可 以 在 企业 内 部 大 
量 使 用 MySQL 存 储 企业 数据 了 ， 包 括 政府 信息 系统 ， 同 样 也 在 大 量 使 用 MySQL 数 据 库 。 


MySQL 的 定位 是 通用 的 数据 库 ， 各 种 类 型 的 应 用 一 般 都 能 利用 到 MySQL 存 取 数 据 的 优势 。 业 内 生产 实践 也 证 明 ，MySQL 更 适合 中 小 型 数据 库 、OLTP 业 务 ， 以 目前 的 软 硬 件 产品 水 平 来 看 ， 如 果 单 机 数 
据 超过 几 个 TB 将 难以 高 效 利用 MySQL。 


MySQL 可 以 作为 传统 的 关系 型 数据 库 产品 使 用 ， 也 可 以 当 作 一 个 key-value 产 品 来 使 用 ， 由 于 它 具 有 优秀 的 灾难 恢复 功能 ， 因 此 相对 于 目前 市 场 上 的 一 些 key-value 产 品 会 更 有 优势 。 


我 们 所 说 的 MySQL 更 适合 OLTP 业 务 、 中 小 型 数据 库 ， 并 不 是 阅 MySQL 仅 限于 此 ， 数 据 的 存储 往往 是 一 个 架构 问题 ， 如 果 配 合 架构 ，MySQL 也 是 可 以 存储 海量 数据 的 。 海 量 数 据 没 有 一 个 明确 的 标准 ， 


对 于 MySQL 来 说， 我 们 可 以 简单 地 认为 海量 数据 是 指 单个 实例 难以 处 理 的 几 十 亿 以 上 的 数据 。 不 过 ，MySQL 对 于 海量 数 


言 ， 中 小 型 公司 最 佳 的 选择 仍然 是 MySQL， 毕 竟 在 这 类 公司 里 ， 海 量 数据 并 不 常见 。 下 面 让 我 们 来 看 看 部 分 知名 互联 网 公司 的 MySQL 主 机 规模 ， 一 些 公开 资料 显示 如 下 。 


* Facebook 2008 年 有 10000 台 服务 器 ， 其 中 包括 1800 台 MySQL 服 务 器 ， 到 2013 年 已 经 突破 了 20 万 台 服 务 器 ， 按 40 : 1 计算 ，MySQL 服 务 器 至 少 也 有 五 千 人 台 了 。 


* Twitter 早 在 2011 年 就 有 2000~4000 台 服务 器 ， 绝 大 部 分 数据 后 端的 持久 化 存储 都 是 MySQL 服 务 器 。 


“ 对 于 国内 的 几 大 互联 网 公司 ， 如 阿里 、 百 度 、 腾 讯 ， 依 据 公 开 的 信息 ， 它 们 均 有 千 台 以 上 MYSQL 服务 器 的 规模 。 


这 些 大 型 互联 网 公 


司 都 注重 使 用 MySQL， 而 | 


1.1.2 ”为 什么 那么 多 公司 和 机 构 选择 使 用 MySQL 


它们 选择 使 用 MyS 


“ 低 成 本 、 高 效能 


QL 的 主要 原因 有 以 下 两 点 。 


“ 处 于 起 步 阶 段 的 团队 、 小 公司 需要 一 个 开放 的 系统 来 适应 发 展 的 需要 。 


互联 网 公司 ， 特 别 是 处 于 起 步 阶段 的 公司 ， 


的 大 部 分 网 站 使 用 的 都 是 LAMP (或 者 INMP) 组 合 。 由 于 它 是 免费 的 ，LAMP 自 
开放 的 系统 ， 源 代码 开放 ， 社 


目前 市 场 上 的 其 他 产品 


一 些 公司 出 于 节省 成 本 和 扩 


区 成 熟 活跃 ， 在 公司 发 


，MySQL 也 具备 许多 优势 。 


以 把 大 部 分 业务 逐步 迁移 到 PC 服务 器 的 MySQL 集 群 上 ， 成 功 地 降低 了 成 本 。 


1.1.3 ”MySQL 的 优势 是 什么 ， 它 解决 了 什么 问题 


MySQL 是 一 个 轻 量 级 的 通 
数据 库 产品 往往 安装 包 庞大 ， 且 配置 使 


展 壮 大 的 过 程 中 ， 可 以 不 断 从 外 部 获取 成 熟 的 思想 和 解决 方案 。 可 以 说 MySQL 已 经 构建 了 成 熟 的 生态 图， 使 用 它 的 人 往往 能 得 到 许多 益处 ， 而 


目 往往 也 在 内 部 维护 了 一 个 MySQL 的 分 支 ， 同 时 它们 也 积极 参与 到 MySQL 社 区 ， 促 使 MySQL 不 断 改进 。 


居 的 分 析 就 不 擅长 了 ， 你 可 能 还 需要 其 他 产品 来 协助 解决 这 方面 的 问题 。 一 般 而 


需要 一 个 低 成 本 的 系统 来 构建 服务 ， 从 而 可 以 把 更 多 的 资金 用 于 业务 的 扩张 。LAMP (其 中 的 “M” 指 的 就 是 MySQL) 的 组 合 已 被 广泛 应 目前 世界 上 


然 就 成 了 第 一 选择 ， 一 般 而 言 ， 选 择 成 熟 可 靠 、 使 用 人 数 广泛 的 产品 ， 公 司 的 技术 风险 也 会 大 大 降低 。 同 时 MySQL 是 一 个 


MySQL 起 初 也 有 很 多 Bug， 而 且 不 


MySQL 5.1/5.5 已 经 大 量 应 用 于 生产 环境 了 。 


展 性 的 考虑 ， 尝 试 把 某 些 业 务 从 商业 数据 库 迁 移 到 MySQL 上 ， 比 如 阿里 ， 由 于 数据 库 集群 的 规模 巨大 ， 传 统 的 基于 小 型 机 和 高 端的 存储 架构 难以 扩展 ， 和 且 支 出 成 本 庞大 ， 所 


关系 型 数据 库 ， 具 有 稳定 、 易 安装 、 易 使 用 、 高 性 能 等 特点 ， 可 配合 架构 进行 扩展 。 它 的 安装 包 不 大 ， 百 MB 级 别 ， 安 装 简单 方便 ， 入 门 也 很 简单 ， 而 一 些 商业 化 的 关系 型 
复杂 ， 需 要 开发 人 员 或 DBA 花 费 几 倍 的 时 间 去 掌握 产品 的 使 用 。 


太 稳 定 ， 但 经 过 十 多 年 的 发 展 ， 目 前 的 MySQL (5.0/5.1) 已 经 很 稳定 了 。 新 的 5.5/5.6/5.7 也 发 布 了 GA 版 本 ， 正 在 持续 完善 中 ， 截 至 2015 年 年 底 ， 我 们 可 以 看 到 


此 外 ，MySQL 也 是 一 个 高 性 能 的 产品 ， 它 不 仅 适 用 于 中 小 型 公司 ， 还 能 稳定 高 效 地 处 理 大 数据 。 业 内 存在 一 种 误解 ， 认 为 MySQL 的 扩展 性 不 好 ， 若 超过 一 定 的 数据 量 时 ， 性 能 就 会 下 降 。 其 实 这 更 多 


的 是 一 个 架构 问题 ， 配 合成 熟 的 架构 ， 比 如 在 应 用 层 切 分 数据 ，MySQL 的 扩展 性 就 不 再 是 什么 问题 了 ， 而 


MySQL 存 储 海 量 数据 。 


很 多 数据 是 能 够 分 片 到 各 个 MySQL 节 点 的 。Facebook、Twitter、Google 等 都 在 大 量 使 


一 些 人 倾向 于 用 NoSQL 产 品 来 存储 数据 ， 其 实 ，NoSQL 产 品 ， 特 别 是 一 些 key-value 单 机 产品 ， 相 对 于 MySQL 来 说 并 没有 什么 优势 。MySQL 同 样 可 以 把 数据 存储 为 key-value 的 形式 ， 并 且 ，NoSQL 


的 产品 还 不 是 很 稳定 ， 一 旦 数据 丢失 就 可 能 会 导致 很 严重 的 损失 ， 又 往往 因为 数据 模型 简单 ， 所 以 应 用 范围 狭小 。MySQL 成 熟 稳定 目 拥有 丰富 的 数据 类 型 ， 它 的 关系 模型 可 以 满足 项 目 不 断 增加 的 商业 需 


求 。 


1.2 MySQL 的 基础 架构 和 版 本 


1.2.1 软件 架构 中 数据 库 的 定位 


数据 库 一 般 位 于 整个 软件 架构 的 


客户 端 直接 和 数据 库 服务 器 通信 ， 比 如 通过 ODBC、JDBC 连 接 数据 库 ， 一 般 称 为 
务 器 负责 转发 请 求 给 数据 库 服务 器 ， 这 种 模式 称 为 “三 层 架构 ”。 在 很 多 较 大 规模 的 Web 应 用 中 ， 在 Web 服 务 器 和 数据 库 服务 器 之 间 还 可 能 存在 一 个 应 用 服务 器 ， 这 种 结构 称 为 “四 层 架 构 ”。 


本 书 探讨 的 MySQL 是 基于 目前 互联 


1) 用 户 接口 层 ， 贞 


2) 业务 逻辑 和 数据 处 理 层 ， 即 应 


后 端 ， 而 不 直接 服务 于 用 户 ， 数 据 的 展示 、 应 用 逻辑 的 处 理 都 是 由 其 他 层次 的 程序 来 实现 的 。 比 较 流行 的 一 种 软件 架构 的 分 类 是 “ 双 层 ”、“ 三 层 ”、“ 多 层 ” 


架构 。 


“ 双 层 架 构 ” 或 “dlient-server” 架 构 。 若 客户 端 和 数据 库 之 间 有 一 个 中 间 服 务 器 (如 Web 服 务 器 ， 中 间 件 ) ， 则 


中 间 服 


各 种 终端 ， 比 如 


， 运 行 在 最 终 用 户 计算 机 上 的 浏览 器 。 


并 且 将 动态 请 求 转 发 给 后 端的 PHP 服 务 ， 


3) DBMS， 即 后 端 数据 存储 ， 如 MySQL、PostgreSQ 


相应 地 ， 在 软件 系统 架构 设计 中 也 存在 一 种 分 层 设 计 的 方法 学 。 我 们 熟知 的 三 层 架 构 (3-tier application) 是 一 种 应 用 广泛 的 分 层 设计 ， 它 把 应 用 分 解 为 表现 层 、 业 务 逻 辑 层 、 数 据 访问 层 3 个 层 ; 
三 层 (多 层 ) 架构 主要 的 好 处 是 提供 了 一 个 灵活 的 、 可 重用 的 模型 ， 开 发 者 可 以 通过 简单 地 修改 某 一 层 的 功能 或 增加 某 一 层 的 功能 来 实现 某 种 需求 ， 而 不 需要 修改 整个 应 用 程序 。 


最 常见 的 架构 ， 如 ， 网 站 应 用 、 移 动 互联 网 应 用 。 它 们 一 般 是 三 层 架构 ， 这 三 层 架 构 分 别 如 下 。 


程序 服务 器 ， 比 如 ，PHP、Java EE、ASP.NET、Ruby on Rails 等 应 用 服务 。 网 站 处 理 网 络 访问 请 求 的 过 程 可 能 是 这 样 的 : 由 Nginx 接 受用 户 请 求 ， 处 理 静 态 页 面 ， 


PHP 服 务 处 理 完 动态 请 求 后 ， 将 结果 返还 给 Nginx，Nginx 再 返还 给 用 户 。 有 时 也 称 该 层 为 中 间 件 (middle ware) 。 


L、Redis、Memcached 等 产品 。 


“ 表现 层 (UI) ， 即 直接 和 用 户 交 互 的 界面 。 


“ 业务 逻辑 层 (BLL) ， 即 对 业务 逻辑 进行 处 理 ， 处 理 用 户 的 请 求 ， 它 将 许多 最 终 用 户 的 业务 逻辑 集中 到 了 应 用 服务 器 上 。 


“ 数据 访问 层 (DAL) ， 直 接 操 作 数据 库 ， 即 针对 数据 的 增加 、 删 除 、 修 改 、 查 找 等 操作 。 


传统 行业 的 商业 数 


居 库 往往 还 承载 了 许多 业务 逻辑 的 功能 ， 这 其 中 就 会 经 常 


到 存储 过 程 、 触 发 器 。 互 联网 世界 的 开源 数据 库 虽 然 也 有 存储 过 程 、 触 发 器 之 类 的 特性 ， 但 绝 大 部 分 场合 下 并 不 


到 这 


些 非 核心 的 基本 特性 ， 开 发 者 把 数据 库 更 多 地 看 作 一 个 存储 数据 的 容器 ， 并 已 将 核心 业务 逻辑 从 数据 库 功 能 中 分 离 了 出 来 。 


本 书 主要 是 讲述 MySQL 的 使 用 ， 由 了 


各 种 应 用 服务 的 运行 机 制 ， 以 及 是 否 需要 对 它们 进行 优化 。 


MySQL 的 优化 与 软件 整体 架构 的 其 他 组 件 的 关系 密切 ， 所 以 对 于 Web 服 务 器 、 缓 存 产品 、 队 列 等 产品 ， 也 会 做 一 些 简单 介绍 。 作 为 一 个 合格 的 DBA， 有 必要 了 解 


1.2.2 MySQL 的 基础 架构 


MySQL 是 一 种 关系 数据 库 产品 。 关 系数 据 库 ， 顾 名 思 义 ， 是 建立 在 关系 模型 基础 上 的 数据 库 。 现 实 世界 中 ， 实 体 与 实体 之 间 的 各 种 联系 一 般 都 可 以 用 关系 模型 来 表示 。 经 过 数 十 年 的 发 
在 理论 和 工业 实践 中 都 已 经 很 成 熟 了 。 


数据 库 产品 的 架构 一 般 可 以 分 为 应 用 层 、 逻 辑 层 、 物 理 层 ， 对 于 MySQL， 同 样 可 以 理解 为 如 下 的 3 个 层次 。 


“应 用 层 。 负 责 和 客户 端 、 用 户 进行 交互 ， 需 要 和 不 同 的 客户 端 和 中 间 服 务 器 进行 交互 ， 建 立 连接 ， 记 住 连接 的 状态 ， 响 应 它们 的 请 求 ， 返 回 数据 和 控制 信息 (错误 信息 、 状 态 码 等 ) 。 


展 ， 关 系数 据 库 


“ 逻辑 层 。 负 责 具 体 的 查询 处 理 、 事 务 管理 、 存 储 管理 、 恢 复 管理 ， 以 及 其 他 的 附加 功能 。 查 询 处 理 器 负责 查询 的 解析 、 执 行 。 当 接收 到 客户 端的 查询 时 ， 数 据 库 就 会 分 配 一 个 线程 来 处 理 它 。 先 由 查 
询 处 理 器 (优化 器 ) 生成 执行 计划 ， 然 后 交 由 计划 执行 器 来 执行 ， 执 行 器 有 时 需要 访问 更 底层 的 事务 管理 器 、 存 储 管理 器 来 操作 数据 ， 事 务 管 理 器 、 存 储 管理 器 主要 负责 事务 管理 、 并 发 控制 、 存 储 管理 。 


这 其 中 ， 将 由 事务 管理 器 来 确保 “ACID” 特 性 ， 通 过 锁 管 理 器 来 控制 并 发 ， 由 上 日志 管理 器 来 确保 数据 持久 化 ， 存 储 管理 器 一 般 还 包括 一 个 缓冲 管理 器 ， 由 它 来 确定 磁盘 和 内 存 缓冲 之 间 的 数 


“ 物理 层 。 实 际 物理 磁 意 〈 存 储 ) 上 的 数据 库 文 件 ， 比 如 ， 数 据 文 件 、 日 志文 件 等 。 


SQL Interface、Parser、Optimizer、Caches&Buffers、Pluggable Storage Engines 可 以 理解 为 数据 库 的 大 脑 一 一 逻辑 层 ; 最 下 方 的 Files&Logs 可 以 理解 为 物理 层 。 
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图 1-1 MySQL 的 基础 架构 


1.2.3 “MySQL 的 版 本 及 特性 


1.MySQL 支 持 的 平台 


MySQL 支 持 目前 市 面 上 的 大 部 分 平台 ， 包 括 32 位 和 64 位 平台 ， 一 般 情 况 下 程序 运行 在 64 位 平台 上 比 32 位 更 快 。MySQL 支 持 的 平台 如 下 所 示 。 


* Solaris 


* Linux 


* Windows 


* AIX 


* Mac OS 


* HPUX 


据 传输 。 


图 1-1 是 MySQL 官 方 文档 的 一 个 基础 架构 图 ， 其 中 Connectors 可 以 理解 为 各 种 客户 端 、 应 用 服务 ; Connection Pool 可 以 理解 为 应 用 层 ， 负 责 连接 、 验 证 等 功能 ; Management Services&Utilities、 


2.MySQL 许 可 协议 


Oracle 以 双重 授权 (Dua 
MySQL， 无 论 是 否 将 其 


作 商 用 。 


如 果 某 些 商业 软件 中 结合 了 MySQl 或 修改 了 MySQL 源 码 ， 但 又 不 愿意 按 GPL 协 议 公开 软件 源码 ， 那 么 就 必须 和 Oracle 公 司 达 成 商业 许可 协议 。 简 而 言 之 ， 如 果 你 违 


GPL 授予 用 户 以 下 权利 。 


“ 以 任何 目的 运行 此 程序 的 自由 。 


“ 再 发 行 复制 件 的 自由 。 


“ 改进 程序 ， 并 公开 发 布 改进 内 容 的 自由 。 


需要 注意 的 是 ，GPL 只 限制 了 对 外 分 发 的 软件 ， 也 就 是 说 ， 如 果 该 软件 只 在 内 部 使 用 ,无论 


不 


/ 


时 才 受 GPL 约束 ， 如 果 你 的 应 用 程序 只 是 用 到 了 MySQL， 无 论 是 否 商 


3.MySQL 版 本 


MySQL 目 育 


[= 
口 


(1) MySQL 社 区 版 


可 免费 下 载 使 


的 开源 版 本 ， 遵 循 GPL 协议 ， 包 括 如 下 的 这 些 特性 。 


“ 可 插 拔 的 存储 引擎 架构 


.多 存储 引擎 支持 nnoDB、MYISAM、NDB (MySQL Cluster 即 采用 NDB 存 储 引 擎 ) 


“复制 


“ 存储 过 程 、 触 发 器 、 视 


' 信息 数据 库 (Information-Schema) 


.MySQL 连接 器 


:MYSQL 工作 台 (MySQL Workbench) 


目前 已 经 发 布 了 MySQL 5.0、MySQL 5.1、MySQL 5.5、MySQL 5.6、MySQL 5.7 一 共 5 个 GA 版 本 。 一 般 来 说 ， 后 面 的 版 本 比 前 面 的 版 本 功能 更 强 、 扩 


以 下 3 个 版 本 是 给 商业 


户 使 


(2) MySQL 标 准 版 


和 社区 版 差别 不 大 ， 提 供 社区 版 所 支持 的 各 种 特性 。 


(3) MySQL 企 业 版 


MySQL 企 业 版 提供 7x 24 小 时 的 技术 支持 服务 ， 


户 可 


MySQL 企 业 版 提供 了 更 全 而 
复 和 备份 压缩 。 


的 高 级 功能 、 管 理工 


， 都 不 需要 考虑 开源 。 


可 分 为 4 个 版 本 : MySQL 社 区 版 、MySQL 标 准 版 、MySQL 企 业 版 、MySQL 集 群 版 。 


接 联 系 MySQL 专 业 支 持 工程 师 ， 获 取 关 了 


的 ， 商 业 客户 可 灵活 选择 多 个 版 本 ， 以 满足 特殊 的 商业 和 技术 需求 。 


源 都 没有 关系 。 如 何 使 用 


Licensed) 的 方式 发 布 MySQL， 它 们 是 GPL 和 商业 许可 协议 (Commercial License) 。 如 果 你 在 一 个 遵循 GPL 的 


由 (开源) 项 目 中 使 


MySQL， 那 么 你 可 以 遵循 GPL 协议 


了 GPL， 则 需要 购买 商业 许可 。 


、Memory、Merge、Archive、CSV 等 


源 软件 并 不 受 GPL 的 约束 ， 只 有 在 你 基于 


和 技术 支持 ， 例 如 : MySQL 企业 级 备份 可 为 数 


MySQL 应 


居 库 提供 在 线 “ 热 ”备份 ， 从 而 降低 数 


展 性 更 好 。 


程序 开发 、 部 署 和 管理 的 全 方位 支持 。 


MySQL 线 程 池 提供 了 一 个 高 效 的 线程 处 理 模 型 ， 旨 在 降低 客户 端 连 接 和 语句 执行 线程 的 管理 开销 。 


MySQL 企 业 级 安全 性 提供 了 一 些 立 即 可 


MySQL 的 一 些 新 特性 出 现在 了 企业 版 中 ， 但 并 没有 出 现在 社区 版 ， 这 导致 很 多 人 对 于 MySQL 产 生 了 疑虑 ， 


公司 选择 社区 版 本 即 可 。 一 些 行 


(4) MySQL 集 群 (MySQL Cluster) 版 


Oracle 收 购 MySQL 之 后 ， 对 MySQL Cluster 做 了 大 量 改 进 ， 这 也 是 Oracle 力 推 


称 ， 集 群 版 可 比 单机 数据 库 提 供 更 高 的 可 


的 外 部 身份 验证 模块 ， 可 将 MySQL 轻 松 集成 到 现 有 的 安全 基础 架构 中 。 


但 MySQL 的 生态 已 经 建立 成 熟 ， 官 方 版 本 和 其 
业 、 领 域 要 求 更 好 的 服务 ， 更 高 的 稳定 性 ， 或 者 有 其 他 复杂 的 业务 需求 ， 对 于 它们 企业 版 是 一 个 很 好 的 选择 。 


Cluster 的 专家 ， 如 果 一 定 要 使 用 ， 建 议 做 好 充分 的 测试 验证 工作 。 


据说 现在 的 MySQL Cluster 版 本 已 经 允许 存储 部 分 数据 到 硬盘 上 ， 但 由 


于 主要 数据 需 


存放 在 内 存 中， 


其 他 特性 还 有 MySQL 企 业 级 审计 、MySQL 企 业 级 监视 器 (MySQL Enterprise Monitor) 和 MySQL 查 询 分 析 器 (MySQL Query Analyzer) 等 。 


源 软件 ， 修 改 开 源 软 件 的 源码 


居 丢 失 的 风险 。 它 支持 完全 、 增 量 和 部 分 备份 ， 以 及 时 间 点 恢 


他 分 支 也 都 在 稳定 地 发 展 改进 中 ， 一 般 的 中 小 


的 产品 。 集群 版 是 一 种 分 布 式 、 无 共享 (share-nothing) 的 架构 ， 也 就 是 说 把 数据 分 布 在 各 个 节点 的 内 存 里 。 据 官方 宣 
性 ， 高 达 99.999%。 它 还 有 一 些 好 处 ， 比 如 


支持 跨 IDC 复 制 、 减 少 维护 成 本 等 。 但 这 个 产品 比较 复杂 ， 国 内 也 缺少 精通 MySQL 


因此 其 部 署 成 本 会 比较 高 。 


也 越 来 越 大 ， 所 以 其 扩展 性 也 是 有 限 的 。 对 于 海量 数据 ，MySQL Cluster 可 能 不 是 很 好 的 方案 ， 从 理论 上 来 讲 


1.2.4 ” MySQL 的 开发 周期 


Oracle 公 司 是 一 家 成 熟 


的 商业 公司 ， 拥 有 一 流 的 工程 能 力 和 执行 力 ， 


多 第 三 方 的 优化 补丁 也 都 在 官方 版 本 中 得 到 了 实现 。 而 之 前 MySQL 的 400 多 名 开发 人 员 分 布 在 25 个 国 


目前 MySQL 的 发 展 路 线 更 清晰 ， 开 发 周期 大 致 分 为 4 个 阶段 。 


收购 MySQL 以 来 ， 就 增 力 


外 ， 随 着 MySQL Cluster 节 点 的 增多 ， 节 点 之 间 通 信 、 同 步 的 代价 
F， 仅 仅 把 热点 数据 加 载 到 内 存 是 更 经 济 的 做 法 。 


了 相应 的 


发 人 员 ， 并 且 提 供 了 更 成 熟 的 


家 ，70% 的 开发 人 员 在 家 工作 ， 导 致 了 交流 沟通 不 畅 ， 产 品 开发 进 


发 模式 ， 目 前 MySQL 的 开发 进度 比 收购 之 前 高 了 很 多 ， 许 


展 缓慢 。 


1) 新 特性 开发 。 


2) 发 布 实验 室 版 本 。 


实验 室 版 本 可 以 提前 预览 到 一 些 正在 开发 的 特性 ， 供 用 户 试用 ， 但 是 不 保证 这 些 特性 会 被 整合 到 里 程 碑 版 本 和 GA 版 本 。 


3) 发 布 里 程 碑 版 本 (Development Milestone Releases) 。 


这 个 时 候 的 版 本 称 为 RC (Release Candidate 候 选 ) 版 本 ， 有 充分 的 文档 支持 ， 在 所 有 支持 的 平台 上 发 布 ， 可 以 让 用 户 试用 ， 以 收集 反馈 。 一 般 平 均 3~6 个 月 发 布 一 个 DMR (里 程 碑 版 本 ) 。 


4) 发 布 GA 版 本 (Generally Availability Releases) 。 


GA 版 本 是 建议 用 于 生产 系统 的 版 本 。 一 般 18~24 个 月 为 一 个 周期 。 


1.3 ”查询 执行 过 程 概述 


1-2 抽 象 化 地 描述 了 客户 端 和 数据 库 交 互 的 过 程 。 


[ 


Query 
Cache 


Connection 
Handing & Parser 
Net LO 


Pluggable Storage Engine API 


Clients 


“PacRaging” 


InnoDB 


图 1-2 ”客户 端 与 数据 库 交 互 抽象 架构 图 


如 图 1-2 所 示 ， 客 户 端 (Clients) 发 布 查询 的 流程 如 下 ， 首 先 连接 MySQL (Connection Handling) ， 然 后 发 布 查询 ， 如 果 缓 存 (Query Cache) 中 有 结果 集 ， 风 
存 ， 那 么 ，MySQL 解 析 查 询 (Parser) 将 通过 优化 器 (Optimizer) 生成 执行 计划 ， 然 后 运行 执行 计划 通过 API (Pluggable Storage Engine APl) 从 存储 引擎 获取 数 


SolidDB 


直接 返回 结果 集 。 如 果 结果 没有 被 组 
居 ， 并 返回 给 客户 端 。 


什么 是 执行 计划 (查询 计划 ) 呢 ? 执行 计划 就 是 一 系列 的 操作 步骤 。SQL 是 声明 性 语言 ， 它 只 告诉 数据 库 要 查询 什么 ， 但 并 不 告诉 数据 库 如 何 去 查 。 数 据 库 所 要 做 
条 最 佳 的 访问 路 径 。 这 个 工作 是 由 优化 器 来 完成 的 。 优 化 器 会 比较 不 同 的 执行 计划 ， 然 后 选择 其 中 最 优 的 一 套 。 


1.4 MySQL 权限 


1.4.1 ”MySQL 权限 机 制 


MySQL 权 限 控制 包含 如 下 两 个 阶段 。 


阶段 1: 服务 器 检查 是 否 允 许 你 连接 。 


的 就 是 基于 算法 和 统计 信息 计算 出 一 


阶段 2: 假定 你 能 连接 ， 服 务 器 将 检查 你 发 出 的 每 一 个 请 求 ， 查 看 你 是 否 有 足够 的 权限 实施 它 。 例 如 ， 如 果 你 从 数据 库 表 中 选择 (SELECT) 行 或 从 数据 库 中 删除 表 ， 那 么 服务 器 要 确定 你 是 否 对 表 有 


SELECT 权限 或 对 数据 库 有 DROP 权 限 。 


MySQL 是 通过 用 户 名 、 密 码 、IP (主机 名 ) 3 个 要 素来 验证 用 户 的 。 当 你 想 要 访问 MYSQL 服务 器 时 ，MySQL 客 户 端 程序 一 般 会 要 求 你 指定 如 下 参数 。 


:MYSQL 服务 器 的 IP (主机 名 ) ， 端 口 


;用户 名 


. 密码 


以 下 是 连接 MySQL 服 务 器 的 一 个 示例 ， 你 需要 以 实际 的 IP、 端 口 、 用 户 名 、 密 码 代替 相应 的 内 容 。 


shell> mysql -h host ip address -u user name -pyour password -P server port 


1.4.2 ”赋予 权限 和 回收 权限 


一 般 在 生产 环境 下 ， 程 序 账号 有 增加 、 删 除 、 查 询 、 修 改 这 4 项 功能 即 可 。 


如 下 命令 用 于 赋予 查询 、 插 入 、 修 改 、 删 除权 限 ， 并 进行 密码 设置 。 


mysql>grant select,insert,update,delete on db name.* to user name@ '10.%' identified by 'password'; 


如 下 命令 用 于 回收 上 面 所 赋予 的 权限 。 


mysql>revoke select,insert,update,delete on db name.* from user name@ '10.%'; 


1.5 长 连接 、 短 连接 、 连 接 池 


当 数 据 库 服务 器 和 客户 端 位 于 不 同 的 主机 时 ， 就 需要 建立 网 络 连 接 来 进行 通信 。 客 户 端 必须 使 用 数据 库 连接 来 发 送 命令 和 接收 应 答 、 数 据 。 通 过 提供 给 客户 端 数据 库 的 驱动 指定 连接 字符 串 后 ， 客 户 端 
就 可 以 和 数据 库 建立 连接 了 。 可 以 查阅 程序 语言 手册 来 获知 通过 何 种 方式 使 用 短 连接 、 长 连接 。 


1.5.1 ” 短 连 接 


短 连 接 是 指 程序 和 数据 库 通 信 时 需要 建立 连接 ， 执 行 操作 后 ， 连 接 关 闭 。 短 连接 简单 来 说 就 是 每 一 次 操作 数据 库 ， 都 要 打开 和 关闭 数据 库 连 接 ， 基 本 步骤 是 : 连接 一 数据 传输 一 关闭 连接 。 


在 慢 速 网 络 下 使 用 短 连接 ， 连 接 的 开销 会 很 大 ; 在 生产 繁忙 的 系统 中 ， 连 接 也 可 能 会 受到 系统 端口 数 的 限制 ， 如 果 要 每 秒 建立 几 干 个 连接 ， 那 么 连接 断 开 后 ， 端 口 不 会 被 马上 回收 利用 ,必须 经 历 一 
个 “FIN” 阶 段 的 等 待 ， 直 到 可 被 回收 利用 为 止 ， 这 样 就 可 能 会 导致 庙 口 资源 不 够 用 。 在 Linux 上 ， 可 以 通过 调整 /proc/sys/net/ipv4/ip_local_port_range 来 扩大 端口 的 使 用 范围 ; 调 
整 /proc/sys/net/ipv4/tcp_fin_timeout 来 减少 回收 延期 (如 果 想 在 应 用 服务 器 上 调整 这 个 参数 ， 一 定 要 慎重 ! ) 。 


外 一 个 办 法 是 主机 使 用 多 个 IP 地址。 端口 数 的 限制 其 实 是 基于 同一 个 IP:PORT 的 ， 如 果 主 机 增加 了 IP，MySQL 就 可 以 监听 多 个 IP 地 址 ， 客 户 端 也 可 以 选择 连接 某 个 1P:PORT， 这 样 就 增加 了 端 
源 。 


器 


1.5.2 长 连接 


长 连接 是 指 程序 之 间 的 连接 在 建立 之 后 ， 就 一 直 打 开 ， 被 后 续 程序 重用 。 使 用 长 连接 的 初衷 是 减少 连接 的 开销 ， 尽 管 MySQL 的 连接 比 其 他 数据 库 要 快 得 多 。 


以 PHP 程 序 为 例 ， 当 收 到 一 个 永久 连接 的 请 求 时 ，PHP 将 检查 是 否 已 经 存在 一 个 (前面 已 经 开启 了 的 ) 相同 的 永久 连接 。 如 果 存在 ， 则 将 直接 使 用 这 个 连接 ; 如 果 不 存 在 ， 则 建立 一 个 新 的 连接 。 所 
谓 “ 相 同 ”的 连接 是 指 用 相同 的 用 户 名 和 密码 到 相同 主机 的 连接 。 


从 客户 端的 角度 来 阅 ， 使 用 长 连接 有 一 个 好 处 ， 可 以 不 用 每 次 创建 新 连接 ， 若 客户 端 对 MySQL 服 务 器 的 连接 请 求 很 频繁 ， 永 久 连 接 将 更 加 高 效 。 对 于 高 并 发 业务 ， 如 果 可 能 会 碰 到 连接 的 冲击 ， 推 荐 使 
长 连接 或 连接 池 。 


从 服务 器 的 角度 来 看 ， 情 况 则 略 有 不 同 ， 它 可 以 节省 创建 连接 的 开销 ， 但 维持 连接 也 是 需要 内 存 的 。 如 果 滥用 长 连接 的 话 ， 可 能 会 使 用 过 多 的 MySQL 服 务 器 连接 。 现 代 的 操作 系统 可 以 拥有 几 干 个 
MySQL 连 接 ， 但 很 有 可 能 绝 大 部 分 都 是 睡眠 (sleep) 状态 的 ， 这 样 的 工作 方式 不 够 高 效 ， 而 且 连 接 占据 内 存 ， 也 会 导致 内 存 的 浪费 。 


对 于 扩展 性 好 的 站 点 来 说 ， 其 实 大 部 分 的 访问 并 不 需要 连接 数据 库 。 如 果 用 户 需要 频繁 访问 数据 库 ， 那 么 可 能 会 在 流量 增 大 的 时 候 产生 性 能 问题 ， 此 时 长 短 连 接 都 是 无 法 解决 问题 的 ， 所 以 应 该 进行 合 
理 的 设计 和 优化 来 避免 性 能 问题 。 


如 果 客 户 端 和 和 MySQL 数据 库 之 间 有 连接 池 或 Proxy 代 理 ， 一 般 在 客户 端 推荐 使 用 短 连 接 。 


对 于 长 连接 的 使 用 一 定 要 慎重 ， 不 可 混用。 如果 没有 每 秒 几 百 、 上 和 干 的 新 连接 请 求 ， 就 不 一 定 需 要 长 连接 ， 也 无 法 从 长 连接 中 得 到 太 多 好 处 。 在 Java 语 言 中 ， 由 于 有 连接 池 ， 如 果 控 制 得 当 ， 则 不 会 对 
数据 库 有 较 大 的 冲击 ， 但 PHP 的 长 连接 可 能 导致 数据 库 的 连接 数 超过 限制 ， 或 者 占用 过 多 的 内 存 。 


对 此 ， 研 发 工程 师 、 系 统 运 维 工 程 师 、DBA 需 要 保持 沟通 ， 确 定 合理 的 连接 策略 ， 千 万 不 要 不 假 思 索 就 采用 长 连接 。 


1.5.3 ”连接 池 


由 于 一 些 数据 库 创建 和 销毁 连接 的 开销 很 大 ， 或 者 相对 于 所 执行 的 具体 数据 操作 ， 连 接 所 耗 的 资源 过 多 ， 此 时 就 可 能 需要 添加 连接 池 来 改进 性 能 。 


数据 库 连 接 池 是 一 些 网 络 代理 服务 或 应 用 服务 器 实现 的 特性 ， 如 J2EE 服 务 器 ， 它 实现 了 一 个 持久 连接 的 “ 池 ”′”， 人 允许 其 他 程序 、 客 户 端 来 连接 ， 这 个 连接 池 将 被 所 有 连接 的 客户 端 共享 使 用 ， 连 接 池 可 
以 加 速 连接 ， 也 可 以 减少 数据 库 连 接 ， 降 低 数据 库 服务 器 的 负载 。 


1.5.4 持久 连接 和 连接 池 的 区 别 


长 连接 是 一 些 驱动 、 驱 动 框架 、ORM 工 具 的 特性 ， 由 驱动 来 保持 连接 句柄 的 打开 ， 以 便 后 续 的 数据 库 操 作 可 以 重用 连接 ， 从 而 减少 数据 库 的 连接 开销 。 而 连接 池 是 应 用 服务 器 的 组 件 ， 它 可 以 通过 参数 
来 配置 连接 数 、 连 接 检测 、 连 接 的 生命 周期 等 。 


如 果 连 接 池 或 长 连接 使 用 的 连接 数 很 多 ， 有 可 能 会 超过 数据 库 实例 的 限制 ， 那 么 就 需要 留意 连接 相关 的 设置 了 ， 比 如 连接 池 的 最 小 、 最 大 连接 数 设 置 ， 以 及 php-fpm 的 进程 个 数 等 ， 否 则 程序 将 不 能 
请 新 的 连接 。 


1.6 存储 引擎 简介 


运行 如 下 命令 可 查看 表 的 引擎 。 


mysql> show table status like 'sys accont' \G 
兴 次 灾 六 类 六 交大 六 次 大 六 闪 次 六 关 关 六 次 六 六 次 大 六 次 交 。] 。 工 DW 大 太 炎 炎 大 炎炎 赤 炎 大 大 炎 类 太 灾 类 赤 炎 赤 赤 灾 大 赤 炎 天 让 
Name: sys accont 
Engine: InnoDB 


其 中 ，Engine 栏 位 表示 使 用 的 是 何 种 引擎 。 


MySQL 不 同 于 其 他 数据 库 ， 它 的 存储 引擎 是 “可 揪 拔 ”的 ， 意 思 就 是 MySQL Server 的 核心 基础 代码 和 存储 引擎 是 分 离 的 ， 你 可 以 使 用 最 适合 应 用 的 引擎 ， 也 就 是 说 MySQL 支 持 不 同 的 表 使 用 不 同 的 引 
擎 。MySQL 拥 有 20 多 个 引擎 ， 下 面 介绍 几 个 常用 的 引擎 。 


1.6.1 InnoDB 引 擎 


在 MySQL 5.5 及 以 后 的 版 本 中 ，InnoDB 是 MySQL 的 默认 引擎 ， 这 些 年 来 ，InnoDB 一 直 在 持续 改进 ， 处 理 能 力 不 断 提高 ， 其 优秀 的 性 能 和 可 维护 性 使 它 成 为 生产 中 普遍 推荐 使 用 的 引擎 。 它 的 优点 有 : 


: 灾难 恢复 性 好 。 
“ 支持 全 部 4 种 级 别 的 事务 。 默 认 的 事务 隔离 级 别 是 可 重复 读 (Repeatable Read) ， 它 的 事务 支持 是 通过 多 版 本 并 发 控制 (MVCC) 来 提供 的 。 
“ 使 用 行 级 锁 。 


“ 对 于 InnoDB 引 擎 中 的 表 ， 其 数据 的 物理 组 织 形式 是 簇 表 (Cluster Table) ， 数 据 按 主 键 来 组 织 ， 也 就 是 说 主键 索引 和 数据 是 在 一 起 的 ， 数 据 按 主键 的 顺序 物理 分 布 。 数 据 表 的 另 一 种 常见 形式 是 非 狭 
表 ， 其 索引 是 有 序 的 ， 而 数据 是 无 序 的 。 


“ 实现 了 缓冲 管理 ， 不 仅 能 缓冲 索引 也 能 缓冲 数据 ， 并 且 会 自动 创建 散 列 索引 以 加 快 数据 的 获取 。 相 比 之 下 ，MyYISAM 只 是 缓存 了 索引 。 
“ 支持 外 键 。 
“ 支持 热 备份 。 


Ot 总 若 无 特 殊 说 明 ， 本 书 都 是 基于 InnoDB 引 擎 论述 的 。 


1.6.2 MylSAM 引 擎 


MyISAM 是 MySQL5.0/5.1 的 默认 引擎 ， 但 MySQL 官 方 的 重心 早已 不 在 MylISAM 引 警 上 了 ， 近 些 年 来 ，MylSAM 一 直 没有 大 的 改进 ， 由 于 它 有 许多 缺陷 ， 如 不 支持 事务 、 灾 难 恢复 性 差 ， 所 以 不 建议 在 
生产 环境 中 使 用 。 


以 下 是 MylISAM 的 一 些 特性 。 

“ 可 以 配合 锁 ， 实 现 操 作 系 统 下 的 复制 备份 、 迁 移 。 

“ 使 用 表 级 锁 ， 并 发 性 差 。 

“ 支持 全 文 检索 (MySQL InonoDB 在 5.6 以 后 也 支持 全 文 检索 ) 。 


“主机 宕 机 后 ，MyISAM 表 易 损 坏 ， 灾 难 恢 复 性 不 佳 。 


“ 只 缓存 索引 ， 数 据 的 缓存 是 利用 操作 系统 缓冲 区 来 实现 的 。 可 能 引发 过 多 的 系统 调用 且 效率 不 佳 。 


“ 数据 紧凑 存储 ， 因 此 可 获得 更 小 的 索引 和 更 快 的 全 表 扫 描 性 能 。 


1.6.3 “MEMORY 存储 引擎 


MEMORY 存 储 引擎 提供 “内 存 ” 表 ， 也 不 支持 事务 、 外 键 。 


使 用 内 存 表 (内 存 引擎) 可 以 显著 提高 访问 数据 的 速度 ， 可 用 于 缓存 会 频繁 访问 的 、 可 以 重 构 的 数据 、 计 算 结 果 、 统 计 值 、 中 间 结 果 ， 但 也 有 如 下 这 些 不 足 之 处 。 


“ 使 用 的 是 表 级 锁 ， 虽 然 内 存 访 问 快 ， 但 如 果 频 繁 地 读 写 ， 表 级 锁 可 能 会 成 为 并 颈 所 在 。 
: 只 支持 固定 大 小 的 行 。VARCHAR 类 型 的 字段 会 存储 为 固定 长 度 的 CHAR 类 型 ， 浪 费 空间 。 
“ 不 支持 TEXT、BLOB 字 段 。 当 有 些 查询 需要 使 用 到 临时 表 〈 使 用 的 也 是 MEMORY 存 储 引擎 ) 时 如 果 表 中 有 TEXT、BLOB 字 段 ， 那 么 会 转化 为 基于 磁盘 的 MyISAM 表 ， 严 重 降低 性 能 。 


“ 由 于 内 存 资源 成 本 昂贵 ， 一 般 不 建议 设置 过 大 的 内 存 表 ， 如 果 内 存 表 满 了 ， 就 会 在 MySQL 错 误 日 志 里 发 现 类 似 “The table “table_name”is full” 这 样 的 错误 ， 可 通过 清除 数据 或 调整 内 存 表 参 数 来 避免 


“ 服务 器 重启 后 数据 会 丢失 ， 复 制 维护 时 需要 小 心 ， 具 体 请 参考 第 12 章 。 


1.6.4_ ARCHIVE 存 储 引 擎 


ARCHIVE 存 储 引擎 是 被 设计 用 来 存储 企业 中 的 大 量 流水 数据 的 存储 引擎 。ARCHIVE 引 擎 使 用 zlib 无 损 数据 压缩 ， 让 数据 都 保存 在 压缩 的 存档 表 中 。 当 数据 被 插入 时 ， 它 们 被 压缩 。 


它 只 支持 INSERT 和 SELECT， 支 持 自 增 键 及 其 上 的 索引 ， 不 支持 其 他 索引 。 它 适合 做 日 志 记 录 、 用 户 行为 分 析 ， 不 需要 UPDATE、DELETE 和 索引 的 数据 。 


1.6.5 ”选择 合适 的 引擎 


表 1-1 列 举 了 MySQL 部 分 引 掌 的 特性 : 是 否 支 持 事务 、 锁 级 别 、 是 否 支 持 热 备份 。 其 中 ，5.0 版 本 、5.1 版 本 默认 的 引擎 是 MylSAM ，5.5 版 本 、5.6 版 本 默认 的 引擎 是 InnoDB。 


表 1-1 MYSQL 引擎 特性 对 比 


存储 引擎 事务 支持 MySQL Server 版 本 


那么 如 何 选择 合适 的 引擎 呢 ?” 以 下 是 选择 引擎 时 需要 考虑 的 一 些 因 素 。 


“是否 需 要 事务 支持 。 

“ 是 否 为 高 并 发 ，InnoDB 实 现 了 行 锁 ， 这 方面 的 表现 大 大 优 于 MYISAM。 
索引， 不 同 存储 引擎 的 索引 实现 不 尽 相同 。 

“ 是 否 需要 外 键 。 

“ 高 效 缓冲 数据 ，InnoDB 缓 冲 数据 而 MYISAM 只 缓冲 了 索引 。 


“ 备份 ， 是 否 需要 支持 热 备 份 。 


我 们 可 以 灵活 地 选择 引擎 ， 但 是 从 维护 的 角度 来 说 ， 维 护 统一 的 存储 引擎 会 更 方便 ， 所 以 或 者 全 部 是 MylSAM， 或 者 全 部 是 InnoDB3 引 擎 在 现实 生产 中 更 常见 ， 也 更 易于 管理 。 


1.6.6 ”选择 何 种 平台 


业内 普遍 的 做 法 是 把 MySQL 部 署 在 Linux 系 统 下 ， 所 以 如 果 不 加 特别 说 明 ， 本 书 指 的 都 是 Linux 下 的 MySQL 部 署 、 使 用 。 为 什么 互联 网 公司 的 生产 环境 一 般 使 用 Linux 操 作 系统 ， 而 不 考虑 在 Windows 上 
部 署 安装 MySQL 呢 ?部 分 原因 如 下 所 示 。 


一 般 来 说 ， 部 署 在 Unix/Linux 环 境 下 的 软件 程序 往往 有 更 高 的 运行 效率 。 因 为 这 样 一 个 事实 : 不 同 的 操作 系统 在 它们 所 采用 的 进程 和 线程 模型 方面 有 着 相当 大 的 差异 。Unix/Linux 编 程 模型 对 Apache 
和 MySQL 等 软件 进行 优化 的 工作 不 仅 开 始 得 最 早 ， 进 行 得 也 最 全 面 彻底 ， 而 Windows 在 这 方面 就 远 远 落 后 了 。 


Oracle 公 司 在 收购 MySQL 后 ， 对 Windows 版 本 做 了 一 些 增强 ， 这 样 做 更 多 的 是 出 于 商业 的 考虑 ，Windows PC 和 Windows Server 的 市 场 占有 率 高 ， 无 论 是 作为 开发 环境 或 独立 软件 供应 商 的 后 台数 据 
库 ，Windows 下 的 MySQL 都 有 其 巨大 的 商业 价值 ， 而 且 可 以 对 MS SQL Server 构 成 一 定 的 威胁 ， 但 如 果 想 要 获得 更 好 的 性 能 、 更 高 的 吞吐 量 ， 仍 然 只 有 在 Linux 平 台 上 才能 实现 。 


1.7 MySQL 复制 架构 


下 面 简要 叙述 下 MySQL 的 各 种 复制 模式 ， 为 了 方便 理解 ， 假 设 有 A、B、5C 三 个 MySQL 实 例 ， 它 们 的 复制 模式 有 如 下 几 种 。 


' 主 从 模式 A 一 B 
' 主 主 模式 A< -一 B 
链 式 复制 模式 A 一 B 一 C 
“ 环形 复制 模式 A 一 B 一 C 一 人 
Oi 箭头 的 意思 是 复制 到 。 


以 上 4 种 模式 为 复制 的 主要 模式 ， 生 产 中 一 般 建议 部 署 为 主 从 模式 ， 这 也 是 最 稳健 的 一 种 方式 。 


为 了 方便 切换 ， 在 一 定 程度 上 提高 可 用 性 ， 也 可 以 选择 主 主 模式 。 需 要 注意 的 是 ， 主 主 模式 必须 确保 任何 时 刻 都 只 有 一 个 数据 库 是 主动 (Active) 状态 ， 也 就 是 说 同一 个 时 刻 只 能 写 入 一 个 主 
(Master) 节点 ， 否 则 可 能 导致 数据 异常 。 


链 式 或 环形 复制 在 生产 中 很 少 用 到 ， 它 们 的 主要 缺点 在 于 ， 随 着 节点 的 增加 ， 整 个 复制 系统 的 稳健 性 会 下 降 。 


后 续 运 维 章节 (第 12 章 ) 对 复制 会 有 更 多 的 叙述 。 各 种 复制 模式 的 基础 都 是 主 从 模式 ， 可 以 说 ， 掌 握 了 主 从 模式 也 就 掌握 了 其 他 各 种 模式 。 


1.8 一 些 基础 概念 


为 了 方便 后 续 阅 读 ， 让 大 家 对 部 分 概念 的 理解 保持 一 致 ， 从 而 更 好 地 理解 书 中 的 内 容 ， 这 里 有 必要 先 对 下 面 的 这 些 概念 进行 阐述 。 


1.MySQL Server、MySQL 实 例 、MySQL 数 据 库 


MySQIl 数据库 指 的 是 实际 存在 的 物理 操作 系统 文件 的 集合 ， 也 可 以 指 逻 辑 数据 的 集合 。 为 了 访问 、 处 理 数据 ， 我 们 需要 一 个 数据 库 管理 系统 ， 也 就 是 MySQL Server (也 称 为 MySQL 服 务 器 ) 。 


MySQL 实 例 指 的 是 MySQL 进 程 及 
如 “192.168.7.101:3307” 这 个 MySQL 实 例 表示 在 主机 上 起 了 一 个 MySQL 服 务 ， 它 的 服务 端 


现实 语 境 中 ， 我 们 一 般 使 


2. 可 扩展 性 


可 扩展 性 也 称 为 伸缩 性 ， 指 的 是 系统 不 断 增长 其 承载 能 力 的 能 


3. 可 | 


性 


可 用 性 可 以 定义 为 系统 保持 正 


4. 单 点 故障 


常 运行 时 间 的 百分比 ， 比 如 一 个 系统 一 共 运行 了 100 分 钟 ， 有 99 分 钟 是 正常 运行 的 ， 那 么 可 


单 点 故障 是 指 系统 中 的 某 个 部 分 ， 一 旦 失败 ， 将 会 导致 整个 系统 无 法 工作 。 为 了 消除 和 


器 , 备 


的 数据 中 心 等 。 如 果 要 设计 高 可 


点 故障 是 需 


所 持 有 的 内 存 结构 ， 我 们 对 数 


居 的 操作 实际 上 是 通过 MySQL 实 例 来 访问 物理 数据 库 文件 的 。 在 实际 生产 中 ,可 以 
是 3307。 如 果 没有 特别 说 明 ， 本 书 中 的 实例 一 词 就 是 指 MySQL 实 例 。 


。 它 是 能 满足 不 断 增长 的 负荷 而 自身 的 性 能 仍然 尚 可 的 这 样 一 种 能 力 。 


尽量 避免 的 。 


的 服务 ， 


5. 读 写 分 离 


由 于 数据 库 只 能 接受 有 限 的 读 请 求 。 对 于 读 请 求 较 多 的 应 


的 读 请 求 ,或 者 应 


， 数 据 库 可 能 会 成 为 瓶颈 ， 为 了 增加 读 的 能 力 
程序 直接 访问 读 库 ， 或 者 通过 一 个 负载 均衡 软件 分 发 读 请 求 。 写 入 操作 和 一 些 读 操作 仍然 访问 


， 提 高 扩展 性 ， 


性 就 是 99%。 


因此 引入 了 读 写 分 离 的 技术 。 比 如 ， 利 


一 个 IP:PORT 组 合 来 表示 一 个 实例 。 


实例 来 描述 对 于 数据 库 的 操作 ， 对 于 MySQl 数 据 库 、MySQL server、MySQL 实 例 并 没有 进行 严格 的 区 分 ， 没 有 特别 说 明 的 话 ， 大 家 可 以 将 它们 看 作 是 同等 的 。 


点 故障 ， 一 般 需要 增加 宛 余 组 件 或 元 余 系 统 。 比 如 服务 器 的 电源 匈 余 、 网 卡 宛 余 、 磁 盘 RAID 阵 列 ， 匈 余 的 服务 


制 技术 配置 多 个 从 库 ， 以 承担 更 多 


EF 库 。 由 于 MySQL 的 复制 是 异步 的 ， 所 以 需要 留意 复制 延 时 对 于 读 写 分 离 的 影响 。 


Of 本 章 主要 讲述 了 MySQL 的 基础 架构 、 查 询 的 执行 过 程 ， 以 及 MySQL 常 见 的 部 署 方式 。MySQL 支 持 许多 存储 引擎 ， 大 家 有 必要 熟悉 和 了 解 最 常 使 用 的 两 个 引擎 : MyISAM、InnoDB。 


第 2 章 MySQL 安装 部 署 和 入 门 


第 1 章 介绍 了 MySQL 的 一 些 基础 知识 ， 本 章 将 为 读者 介绍 MySQL 的 部 署 、 安 装 及 一 些 常用 命令 和 参数 的 设置 。 


有 2 


在 选择 MySQL 的 版 本 时 ， 要 根据 生产 情况 来 决定 ， 是 对 现 有 生产 环境 中 的 数据 库 进行 版 本 升级 呢 ? 还 是 部 署 新 的 数据 库 呢 ? 如 果 已 经 在 生产 环境 中 部 署 了 MySQL， 那 么 我 们 不 需 


如 何 选择 MySQL 版 本 


急 着 将 其 升级 到 最 


新 版 本 ， 旧 的 版 本 已 经 在 生产 环境 中 长 期 稳定 地 运行 ， 而 新 版 本 刚 出 来 时 ， 往 往 并 不 是 那么 稳定 ， 通 常 都 会 有 一 些 Bug 需 要 修复 。 不 稳定 版 本 将 导致 生产 系统 的 不 稳定 ， 所 以 ， 如 果 不 是 急需 新 版 本 的 某 种 


特性 ， 或 者 旧版 本 有 严重 的 安全 隐患 ， 建 议 继续 使 


旧 的 MySQL 版 本 即 可 。 如 果 新 版 本 已 经 稳定 成 熟 


生产 环境 中 的 版 本 过 于 陈旧 ， 那 么 可 以 考虑 升级 旧 的 MySQL 版 本 。MySQL 的 发 展 已 经 有 10 多 年 了 ， 


截至 2016 年 6 月 ，Oracle 已 经 发 布 了 MySQL 5.5、MySQL 5.6、MySQL 5.7， 其 中 MySQL 5.5 已 经 比较 成 熟 ， 读 者 可 以 考虑 把 生产 环境 中 的 MySQL 5.0 和 MySQL 5.1 升 级 到 MySQL 5.5， 如 果 需 要 MySQL 
5.6 的 一 些 新 特性 ， 那 么 可 以 考虑 将 非 核心 的 一 些 系统 升级 到 MySQL 5.6。 


升级 到 新 版 本 ， 往 往 可 以 获得 一 定 程度 上 的 性 能 提升 ， 所 以 ， 有 计划 


可 以 的 。 如 果 生 产 数据 库 的 部 署 是 标准 的 ， 那 么 可 以 考虑 编写 一 个 


前 端 有 带 数据 库 自 动 切换 功能 的 中 间 件 ， 或 者 应 


对 MySQL 的 分 支 选择 也 要 慎重 ，2008 生 


但 对 于 绝 大 部 分 中 小 公司 来 说 ， 使 
择 一 个 产品 往往 会 基于 一 个 重要 的 理由 ， 它 必须 是 由 


业 带 来 好 处 ， 那 么 坚持 使 


2.2 ”官方 版 本 的 安装 


下 面 将 以 Linux 下 MySQL 5.1 和 MySQL 5.5 的 安装 为 例 进行 讲解 。 为 了 避免 冲突 ， 可 以 考虑 先 卸 载 Linux 下 


推荐 大 家 使 


和 全 
会 
局 


2.2.1 二进制 包 的 安装 


二 进 制版 本 的 安装 ， 
由 于 编译 源码 而 出 现 各 种 问题 ， 如 果 不 清楚 编译 的 参数 ， 建 议 还 是 使 


原因 是 简 


原来 的 产品 往往 是 一 种 比较 好 的 选择 ， 开 源 和 闭 源 的 分 裂 将 是 长 期 的 ， 也 是 可 以 共存 的 ， 只 : 


方便 ， 而 且 官 方 的 二 进 制 包 也 是 经 过 了 充分 的 测试 验证 和 参数 优化 的 。 使 


首先 登录 官网 ， 下 载 二 进 制版 本 ， 步 又 如 下 。 


1) 进入 www.mysql.com。 


2) 


选择 downloads (GA) 。 


3) 单 击 Download from MySQL Developer Zone。 


4) 单 击 MySQL Community Server。 


E 量 级 公司 放弃 了 MySQL， 转 


是 对 企业 有 利 的 ， 就 不 应 该 拒绝 继续 使 


自 带 的 MySQL 安 装 包 ， 可 使 有 


二 进 制版 本 。 此 外 ， 无 论 是 使 


性 造成 影响 ， 


FSUN 公 司 收购 了 MySQL AB， 但 次 年 Oracle 又 收购 了 SUN，MySQL 也 是 交易 的 一 部 分 ， 这 之 后 ，Oracle 的 一 系列 举动 让 许多 
Oracle 旗 下 的 命运 ， 进 而 开始 选择 其 他 蔡 代 品 。 对 于 MySQL 分 支 的 选择 ， 本 书 不 做 过 多 的 叙述 ， 现 实 中 ， 已 经 有 一 些 导 
官方 的 MySQL 或 其 他 分 支 (如 MariaDB) ， 都 是 比较 好 的 选择 ， 能 够 满足 绝 大 部 分 的 需求 。 笔 者 的 建议 是 如 果 公 司 尚 在 起 步 
一 个 可 靠 的 、 成 熟 的 公司 或 组 织 来 维护 的 ， 这 能 够 确保 这 个 产品 会 得 到 长 久 、 稳 定 的 支持 。 技 术 发 


也 把 生产 环境 中 的 MySQL 5.0、MySQL 5.1 系 统 升级 为 最 新 的 稳定 成 熟 版 本 是 值得 的 。 如 果 升 级 的 代价 比较 大 ， 那 么 保持 现状 也 是 
自动 升级 的 脚本 。 先 统一 升级 从 库 ， 再 升级 主 库 。 由 于 升级 主 库 可 能 对 服务 的 可 
屋 能 够 比较 友好 地 处 理 主 从 切换 ， 那 么 把 数据 库 流量 临时 切换 到 从 库 ， 可 以 大 大 减少 对 生产 服务 的 影响 。 


因此 需要 和 相关 方 协调 好 时 间 计 划 。 如 果 


户 和 开发 者 开始 质疑 MySQL 在 


向 MySQL 的 其 他 分 支 ， 如 MariaDB、Percona Server, 


从 段 ， 选 择 Oracle 官 方 的 版 本 即 可 。 我 们 选 


展 的 目的 是 解放 生产 力 ， 如 果 官 方 版 本 仍然 能 够 为 企 


， 除 非 你 有 明确 的 理由 放弃 它 。 


“rpm-qalgrep MySQL” 检 测 是 否 安装 了 MySQL 相 关 包 。 


源 代码 编译 的 方式 安装 可 能 会 有 一 定性 能 的 提升 ， 但 在 实际 应 用 中 ， 
二 进 制版 本 还 是 源码 编译 ， 大 规模 的 部 署 都 必须 尽量 做 到 自动 化 安装 ， 否 则 安装 部 署 的 成 本 会 比较 


ab 
可 能 


5) 选择 相应 的 平台 、 版 本 ， 比 如 ， 选 择 64 位 Linux 平 台 下 的 MySQL 二 进 制 包 “Linux-Generic (glibc 2.5) (x86，64-bit) ，Compressed”。 
下 面 开 始 二 进 制版 本 的 安装 。 

1. 在 root 下 安装 MySQL 
这 种 安装 方式 为 默认 方式 ， 这 里 以 “mysql-5.1.45-linux-x86_64-icc-glibc23.tar.gz” 为 例 进行 讲解 。 


以 root 身 份 登录 ， 运 行 如 下 命令 安装 MySQL。 


useradd mysql 

cd /usr/local 

tar zxvf /tmp/mysql-5.1.45-linux-x86 64-icc-glibc23.tar.gz 
ln -s mysql-5.1.45-linux-x86 64-icc-glibc23 mysql 
cd mysql 

cp support-files/my-large.cnf /etc/my.cnf 

Chown -R mysql . 

Chgrp -R mysql . 

scripts/mysql install db --user=mysql 

chown -R root . 

Chown -R mysql data 

mv data /home/mysql/ 

ln -s /home/mysql/data . 


上 面 的 命令 中 移动 data 目 录 到 其 他 分 区 (/home/mysql) ， 是 因为 /usr/local 下 的 磁盘 空间 可 能 不 够 。 一 般 数 据 目录 会 存放 到 和 操作 系统 不 一 样 的 分 区 或 磁盘 中 。 


下 面 是 安装 后 的 目录 及 文件 说 明 。 
安装 后 在 安装 目录 mysql/bin 中 有 如 下 内 容 。 

“ mysqld: MySQL 服 务 主 程序 。 

“mysqld_safe: MySQL 服 务 启动 脚本 。 

“ mysql: MySQL 命 令 行 工具 。 

“mysqladmin: MYSQL 客户 端 (管理 数据 库 ) 。 


“ perror: 显示 错误 码 (状态 码 ) 含义 。 


"mysqlbinlog: 是 处 理 二 进 制 日 志文 件 的 实用 工具 。 


将 MySQL 配 置 为 自 启动 服务 ， 并 启动 。 


cp support-files/mysql.server /etc/init.d/mysqld 
chkconfig mysqld on 
/etc/init.d/mysqld start 


运行 如 下 命令 设置 MySQL root 密 码 。 


/usr/local/mysql/bin/mysqladmin -~u root password ‘'your Password' 


之 后 ,使 用 MySQL 自 带 的 脚本 或 手动 执行 命令 强化 安全 ， 删 除 匿名 用 户 。 自 动 化 的 方式 是 在 root 用 户 下 执行 如 下 命令 。 


./bin/mysql_secure installation 


然后 按照 提示 操作 ， 删 除 匿名 账户 和 空 密码 的 账户 


手动 删除 匿名 账户 的 操作 方法 如 下 。 


shell> mysql -u root 
mysql> DELETE FROM mysql.user WHERE User = "''; 
mysql> FLUSH PRIVILEGES 


Oi 如 果 要 手动 修改 授权 表 (使 用 INSERT、UPDATE 或 DELETE 等 ) ， 应 该 在 mysql 命 令 提 示 符 下 执行 ELUSH PRIVILEGES 或 mysqladmin flush-privileges 告 诉 服务 器 再 装载 授权 表 ， 否 则 更 改 将 不 会 
生效 。 


建议 使 用 /usr/bin/mysql_secure_installation 脚 本 进行 安全 配置 ， 它 会 帮 你 删除 匿名 账号 。 安 装 完成 后 ， 注 意 把 要 执行 命令 的 路 径 添加 到 系统 的 PATH 变 量 里 ， 命 令 如 下 。 


vi ~mysql/.bash profile 
export PATH=/usr/local/mysql/bin:$PATH 


2. 安 装 在 特定 的 用 户 下 面 


首先 ,编辑 一 份 自己 的 配置 文件 ， 指 定 PORT、SOCKET 等 参数 变量 。 安 装 和 启动 的 时 候 需 要 指定 这 个 配置 文件 ， 其 他 操作 和 默认 安装 类 似 。 比 如 ， 要 安装 到 “$HOME/app/” 下 ， 命 令 如 下 。 


cd $HOME/app 

tar zxvf /path/mysql-5.1.45-linux-x86 64-icc-glibc23.tar.gz 

ln -s mysql-5.1.45-linux-x86 64-icc-glibc23 mysql 

cd mysql 

scripts/mysql install db --defaults-file=/home/garychen/app/mysql/my.cnf --user=garychen 


如 果 配 置 文件 没有 指定 数据 目录 的 话 ， 则 默认 是 在 /home/garychen/app/mysqldata 下 。 


启动 方式 如 下 。 


./bin/mysqld_safe --defaults-file=/home/garychen/app/mysql/my.cnf --user=garychen & 


注意 defaales-fle 参 数 必须 作为 第 一 个 参数 。 


此 外 ， 如 果 是 生产 环境 下 的 大 批量 部 署 ， 一 般 建议 定制 自己 的 自动 化 安装 脚本 ， 或 者 通过 自动 化 平台 安装 。 


2.2.2 ”源码 编译 安装 


本 书 不 建议 一 般 使 用 者 使 用 源码 编译 的 方式 进行 安装 ， 如 果 决 定编 译 安装 ， 最 好 想 想 是 否 真 的 值得 这 样 做 ， 它 可 能 对 于 性 能 提升 并 无 多 大 作用 ， 但 却 可 能 会 带 来 潜在 的 不 稳定 因素 ， 你 必须 确保 自己 对 
某 些 编译 选项 很 熟悉 ， 因 为 许多 生产 问题 都 来 自 于 错误 的 编译 方式 。 


可 采用 如 下 的 命令 查看 已 经 安装 的 MySQL 编 译 选 项 。 


cat /usr/local/mysql/bin/mysqlbug | grep CONFIGURE LINE 


下 面 以 MySQL 5.5 为 例 讲解 源码 编译 安装 的 基本 步骤 。 
1) 下 载 "MySQL-5.5.33.tar.gz”。 
2) 确认 系统 已 经 安装 了 cmake。 


3) 编译 安装 MySQL， 命 令 如 下 。 


# 创建 运行 MySQL 的 用 户 

shell> groupadd mysql 

shell> useradd -r -g mysql mysql 

# 开始 编译 安装 

shell> tar zxvf mysql-VERSION.tar.gz 

shell> cd mysql-VERSION 

shell> cmake . -LH # overview with help text 
shell> cmake . 

shell> make-j 8 

shell> make install 

# 安装 后 配置 、 初 始 化 数据 库 

shell> cd /usr/local/mysql 

shell> chown -R mysql . 

shell> chgrp -R mysql . 

shell> scripts/mysql install db --user=mysql 
shell> chown -R root 

shell> chown -R mysql data 

# 启 动 MySQL Server 

shell> cp support-files/my-medium.cnf /etc/my.cnf 
shell> bin/mysqld safe --user=mysql & 

# 添 加 到 自 启 动 服务 

shell> cp support-files/mysql.server /etc/init.d/mysql.server 
shell>chkconfig mysql.server on 

间 设置 root 密码 

/usr/local/mysql/bin/mysqladmin -u root password ‘'your _ Password' 
# 类 似 二 进 制 安装 ， 还 需要 进行 安全 强化 ， 运 行 


./bin/mysql_secure_installation 


2.3 ”其 他 MySQL 分 支 的 安装 


一 些 其 他 MySQL 的 分 支 ， 提 供 了 更 高 的 性 能 和 更 多 的 特性 ， 如 Percona Server、MariaDB 等 ， 它 们 的 二 进 制版 本 安装 类 似 于 官方 版 本 ， 读 者 可 参考 对 应 分 支 的 安装 文档 进行 部 署 安 装 。 注 意 ， 安 装 前 一 
定 要 仔细 阅读 它们 的 安装 文档 。 


2.4 安装 InnoDB Plugin 


对 于 MySQL 5.0、MySQL 5.1 版 本 ， 有 时 我 们 可 能 会 想 要 安装 InnoDB Plugin， 因 为 它 较 之 Built-in 版 本 新 增 了 一 些 特性 。 而 且 一 些 性 能 测试 也 表明 ，InnoDB Plugin 的 性 能 、 伸 缩 性 明显 优 于 MySQL 
5.1 里 内 置 的 InnoDB。 不 过 ， 在 这 么 做 之 前 要 先 留意 一 下 不 同 的 InnoDB Plugin 版 本 和 MySQL 版 本 的 兼容 性 。 对 于 源 代码 编译 的 MySQL， 一 般 可 以 用 编译 的 InnoDB 代 蔡 内 建 的 InnoDB， 但 是 二 进 制版 本 
的 InnoDB 插 件 通 常 只 适用 于 特定 的 MySQL 版 本 。 


使 用 二 进 制版 本 安装 启用 InnoDB Plugin 的 具体 步骤 如 下 。 


1) 确认 MySQL 没 有 在 运行 。 如 果 正 在 运行 ， 那 么 应 该 先 设置 变量 innodb fast_ shutdown。 


SET GLOBAL innodb fast shutdown=0; 


然后 再 关闭 数据 库 (对 于 大 数据 库 而 言 ， 可 能 耗 时 会 较 多 ) 。 


2) 在 参数 文件 [mysqld] 节 中 增加 以 下 参数 。 


shell>vi my.cnf 

ignore-builtin-innodb 
plugin-load=innodb=ha innodb plugin.so 
plugin dir=/usr/local/mysql/Tib/plugin 


3) 启动 数据 库 ， 启 动 数据 库 后 执行 下 面 的 语句 。 


INSERT INTO mysql.plugin VALUES('INNODB', 'ha_innoqb Plugin.so') ; 
INSTALL PLUGIN INNODB SONAME 'ha innodb plugin.so'; 

INSTALL PLUGIN INNODB TRX SONAME "ha innodb plugin.so'; 

INSTALL PLUGIN INNODB LOCKS SONAME 'ha innodb plugin.so'; 

INSTALL PLUGIN INNODB LOCK WAITS SONAME 'ha innodb plugin.so'; 
INSTALL PLUGIN INNODB CMP SONAME "ha innodb plugin.so'; 

INSTALL PLUGIN INNODB CMP RESET SONAME "ha innodb plugin.so'; 
INSTALL PLUGIN INNODB CMPMEM SONAME "ha innodb Plugin.so'7 


INSTALL, PLUGIN INNODB CMPMFEM RESET SONAME "ha innodb plugin.so'; 


4) 关闭 数据 库 ， 然 后 再 去 掉 参 数 文件 my.cnf 中 的 plugin-load 和 plugin_dir 行 ， 之 后 重新 启动 数据 库 ， 运行 “SELECT@ @innodb_version; ”以 确认 版 本 。 


2.5 ”常用 命令 


本 节 先 介绍 几 个 常用 命令 ， 如 mysql、mysqladmin、mysqldump 的 简单 用 法 。 后 续 章节 还 会 再 详 述 这 些 命令 的 使 用 。 


2.5.1 使 用 mysd| 命 令 


首先 ， 需 要 留意 区 分 MySQL 的 大 小 写 。 标 准 的 说 法 是 ，MySQL 指 MySQL 服 务 器 ，mysq|I 指 客户 端 。 


从 Unix/Linux 系 统 下 发 展 出 来 的 MySQL 有 着 优良 的 设计 ， 客 户 工具 的 所 有 选项 都 可 以 保存 到 一 个 “~/.my.cnf” 的 用 户 级 配置 文件 里 的 [client] 部 分 中 ， 而 且 它 把 适用 于 MySQL 的 选项 集中 在 了 [MySQL] 
部 分 。 可 以 先 把 默认 的 用 户 名 、 密 码 、 端 口 等 在 “.my.cnf” 文 件 中 配置 好 ， 以 便 简 化 登录 。 


另外 ， 要 说 明 一 下 ， 本 章 痢 述 的 一 些 命令 ,为 了 显示 方便 ， 可 能 会 省 略 用 户 名 、 密 码 、socket 文 件 的 功能 连接 参数 。 


首先 给 出 连接 并 登录 数据 库 时 会 涉及 的 命令 ， 分 别 如 下 。 


通过 IP、 端 口 远程 连接 的 命令 。 


mysql -h ip address -P your Port -u username -p 


通过 TCP/IP 协 议 进 行 本 地 连接 的 命令 。 


mysql -u username -h 127.0.0.1 -P your port 


通过 socket 文 件 进 行 本 地 连接 的 命令 。 


mysql -u username -S /path/to/mysql.sock 


阅读 在 线 帮 助 的 命令 。 


mysql> help contents 


退出 的 命令 。 


mysql > exit 


简单 查询 的 命令 。 


mysql> SELECT VERSION(), CURRENT DATE; 
mysql> SELECT SIN(PI()/4), (4+1)*5; 


MySQL 客 户 端 还 提供 了 一 些 简 写 命令 ,这 些 简写 命令 只 能 出 现在 命令 行 的 中 间或 未 尾 ， 具 体 如 下 。 


mysql> help 
List of all MySQL commands: 
Note that all text commands must be first on line and end with ';" 


ego (\G) Send command to MySQL server, display result vertically. 
system (\!) Execute a system shell command. 

tee (\T) Set outfile [to outfile]. Append everything into given outfile. 
pager (\P) Set PAGER [to pager]. Print the query results via PAGER. 

edit (\e) Edit command with $EDITOR. 

下 面 来 看 一 个 示例 。 


mysql> Pager cat > /tmp/1og.txt 
mysql> pager less -n -i -S -了 


命令 less 的 “-S” 选 项 可 以 让 你 用 方向 键 进行 浏览 ， 这 对 于 长 行 的 显示 很 有 用 。 其 中 的 参数 说 明 分 别 如 下 。 
“i; 搜索 时 忽略 大 小 写 ， 但 如 果 搜索 的 字符 串 中 包含 大 写字 母 ， 那 么 这 个 选项 不 起 作用 。 
“ -n: 禁用 行 号 功能 ， 加 速 浏览 大 文件 。 


: 下 : 如 果 屏 幕 可 以 显示 的 话 ， 就 直接 退出 。 


使 用 以 下 命令 ， 不 仅 可 以 将 结果 输出 到 屏幕 上 ， 还 可 以 通过 tee 命 令 记录 到 文件 中 。 


mysql> pager cat | tee /drl/tmp/res.txt \ 
| tee /dr2/tmp/res2.txt | less -n -i -S 


使 用 如 下 命令 ， 会 列 出 所 有 可 见 的 数据 库 。 


mysql> SHOW DATABASES; 


切换 到 test 数 据 库 时 的 命令 如 下 。 


mysql> USE test # 如 果 有 许多 表 ， 使 用 use db_name 可 能 会 比较 慢 ， 可 以 使 用 mysql -A 进行 加 束 


显示 当前 数据 库 的 命令 如 下 。 


mysql> SELECT DATABASE (); 


创建 数据 库 menagerie 的 命令 如 下 。 


MySQL > CREATE DATABASE menagerie; 


删除 数据 库 的 命令 如 下 。 


mysql> DROP DATABASE IF EXISTS menagerie; 


创建 用 户 ， 并 赋予 其 对 menagerie 库 的 权限 的 命令 如 下 。 


mysql> GRANT select,insert,update, delete ON menagerie.* TO 'your name' @ 'your client host'; 


列 出 当前 数据 库 下 所 有 表 的 命令 如 下 。 


mysql> SHOW TABLES; 


查看 表 结 构 的 命令 如 下 。 


mysql>DESC pet; 
mysql>SHOW FULL TABLES; # 多 了 第 二 列 ， 用 于 显示 Table_ type 


输入 表 名 、 列 名 等 信息 时 ， 可 以 按 TAB 键 补 全 ，“-A” 可 关闭 这 个 功能 。 


创建 表 的 命令 如 下 。 


CREATE TABLE shop ( 
article INT(4) UNSIGNED ZEROFILL DEFAULT '0000' NOT NULL, 
dealer CHAR(20) DEFAULT " NOT NULL, 
Price DOUBLE (16, 2) DEFAULT '0.00' NOT NULL, 
PRIMARY KEY (article, dealer)); 


插入 初始 化 数据 的 命令 如 下 。 


INSERT INTO shop VALUES 
(1,'A',3.45), (1, 'B',3.99), (2,'A',10.99), (3,'B',1.45), 
(37'C' 1.69); (37°D' 1.25), (47'D'y19.95})7 


查询 数据 的 命令 如 下 。 


SELECT * FROM shop; 


执行 SQL 文件 的 3 种 方式 如 下 。 


mysql -e "source batch-file" 
mysql -h host -u user -p < batch-file 
mysql> source /path/filename; 


如 果 有 长 的 屏幕 输出 ， 可 以 转 储 到 文本 或 使 用 more 进 行 查看 。 


mysql < batch-file | more 
mysql < batch-file > mysql.out 


表 2-1 针 对 mysql 客 户 端的 提示 给 出 了 解释 。 


表 2-1 mysql 客 户 端的 提示 说 明 


等 待 
A 4 二- 
于 体 
# 待 下 一 个 结束 字符 单 引号 待 下 一 行 ， 等 待 


如 果 输入 错 了 ， 需 要 清除 当前 的 输入 字符 ， 可 输入 \c 来 实现 。 在 如 下 示例 中 ， 少 输入 了 单 引 号 ， 我 们 使 用 \c 清 除 所 有 的 输入 字符 ， 回 到 提示 符 下 。 


mysql> SELECT * FROM my table WHERE name = 'Smith AND age < 30; 
‘Ne # 注 意 在 \c 前 还 需要 输入 单 引号 " 
mysql> 


修改 用 户 密码 的 命令 如 下 。 


mysql> SET PASSWORD FOR user name@ip address = password('1234"'); 


显示 当前 连接 、 客 户 端 、 数 据 库 字符 集 等 信息 的 命令 如 下 。 


mysql> STATUS 


显示 MySQL 支 持 的 排序 方式 的 命令 如 下 。 


mysql> SHOW COLLATION; 


下 面 的 命令 将 展示 前 一 条 命令 的 警告 信息 。 


mysql> SHOW WARNINGS; 


展示 可 用 引擎 的 命令 如 下 。 


mysql> SHOW ENGINES; 


还 可 以 使 用 下 面 的 语句 代替 SHOW ENGINES， 并 检查 你 感 兴趣 的 存储 引擎 的 变量 


至 39 SHOW VARIABLES LIKE ‘'haves®'; 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 十 
| Variable name | Value | 
4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| have_archive | YES | 
| have_bqb | NO | 


SHOW 命令 的 精确 输出 将 随 所 使 用 的 MySQL 版 本 (和 启用 的 特性 ) 的 不 同 而 有 变化 。 第 2 列 的 值 表示 各 特性 支持 的 级 别 ， 如 表 2-2 所 示 。 


值 
ES 
NO 
DISABLED 


如 下 命令 可 得 到 表 的 引擎 (engine) 。 


表 2-2 第 2 列 的 值 及 其 含义 


含义 


文 持 该 特性 并 且 
不 支持 该 特性 


文 持 该 特性 但 被 


林木 
FJ | 


mysql> USE information schema; 
mysql> SELECT table name,engine FROM information schema.tables WHERE 


table schema = 'Your Database Name'; 


如 下 命令 可 查看 当前 连接 和 服务 器 的 事务 隔离 模式 。 


SELECT Getx isolation,@Q@global.tx _ isolation7 


如 下 命令 可 查询 是 否 自动 提交 事务 ， 


SELECT @Qautocommit; 


如 下 命令 可 用 于 查询 sql_mode。 


SELECT ROUTINE SCHEMA, ROUTINE NAME, SQL MODE FROM INFORMATION SCHEMA.ROUTINES; 
SELECT EVENT OBJECT SCHEMA, EVENT OBJECT TABLE, TRIGGER NAME, SQL MODE FROM INFORMATION SCHEMA.TRIGGERS; 


也 可 以 通过 设置 OS 环境 变量 的 方式 来 改变 连接 的 socket 文 件 和 TCP 端 口 ， 命 令 如 下 。 


shell> MYSQL UNIX PORT=/tmp/mysqld-new.sock 
shell> MYSQL TCP BORT=3307 
shell> export MYSOL UNIX PORT MYSQL TCP PORT 


2.5.2 ”使 用 mysqladmin 命 令 


在 使 用 mysqladmin 命 令 时 ， 如 下 命令 可 显示 参数 设置 。 


mysqladmin -p variables |grep log queries not using indexes 


设置 root 密 码 的 命令 如 下 。 


myaqladmin -u root -p password "new password" 


如 下 命令 可 显示 状态 变量 ,一 般 使 用 -r 参 数 显示 两 次 命令 执行 期 间 的 增 量 值 。 


mysqladmin extended-status -uroot -r -i 10 


其 中 ，“extended-status” 显 示 的 是 服务 器 状态 变量 和 值 。 


“了: 重复 执行 命令 的 间隔 时 间 。 


如 下 命令 可 显示 当前 连接 的 线程 。 


mysqladmin -uroot -pnemol234admin processlist 


如 下 命令 可 用 于 关闭 数据 库 。 


mysqladmin shutdown 


2.5.3 使 用 mysqldump 命 令 


在 使 用 mysqldump 命 令 时 ， 如 下 命令 可 用 于 备份 数据 库 。 


mysqldump -uroot --hex-blob db name > db name.sql 


增加 压缩 功能 的 命令 如 下 。 


mysqldump -uroot --hex-blob db name |gzip > db name.sql.gz 


也 可 以 使 用 如 下 mysq| 命 令 恢复 数据 。 


mysql < db_ name.sql 


2.6 MySQL 的 主要 参数 设置 


研发 、 测 试 人 员 往 往 熟 悉 SQL 语 名 的 撰写 、 表 结构 的 设计 ， 而 不 熟悉 MySQL 的 配 


置 。 一 般 情况 下 ， 配 置 好 这 几 个 参数 可 以 满足 大 部 分 开发 环境 和 测试 环境 的 要 求 。 


(1) innodb_buffer_pool size 


为 了 提升 写 性 能 ， 可 以 把 要 写 的 数据 先 在 缓冲 区 (buffer) 里 合并 ， 然 后 再 发 送 给 下 一 级 存储 。 这 样 做 可 提高 MO 操作 的 效率 。InnoDB Buffer Pool 就 是 InnoDB 用 来 缓存 它 的 数 
区 ， 可 由 innodb_buffer_pool size 设 置 其 大 小 。 理 论 上 ， 将 这 个 值 设 置 得 越 高 ， 访 问 数 据 需要 的 磁盘 /O 就 越 少 。 常 见 的 做 法 是 让 这 个 值 大 了 
据 量 和 访问 模式 ， 建 议 将 其 设置 为 机 器 物理 内 存 大 小 的 70%~80%。 


(2) innodb log file size 


， 这 可 能 会 导致 一 些 困 惑 ， 比 较 常见 的 是 ， 在 线 上 运行 良好 的 查询 ， 到 了 线 下 就 变 慢 了 ， 下 面 介 绍 几 个 常见 的 参数 配 


居 和 索引 的 内 存 缓冲 
热点 数据 ， 这 样 可 以 获得 比较 好 的 性 能 。 如 果 不 清楚 环境 的 数 


日 志 组 里 每 个 日 志文 件 的 大 小 。 在 32 位 计算 机 上 日 志文 件 的 合并 大 小 必须 小 于 4GB， 默 认 大 小 是 5MB， 在 生产 环境 下 ， 这 个 值 太 小 了 。 官 方 文档 推荐 的 值 为 从 1MB 到 1/N 的 缓冲 池 大 小 ， 其 中 N 是 日 志 


组 里 日 志文 件 的 数目 (由 innodb log files in_group 变 量 来 确定 ， 一 般 默 认为 2) 。 值 越 大 ， 在 缓冲 池 中 需要 检查 点 刷新 的 行为 就 越 少 ， 因 此 也 越 节约 磁盘 /O， 但 更 大 的 日 志文 件 也 意味 着 在 峙 溃 时 恢复 得 


更 慢 。 建 议 将 日 志文 件 的 大 小 设置 为 256MB 或 更 大 ， 这 样 可 以 满足 一 般 情 况 下 的 需要 。 


(3) innodb flush_log_at_trx_commit， 建 议 设置 为 2 


这 个 选项 的 默认 值 是 1。 当 设置 为 2 时 ， 在 每 个 事务 提交 时 ， 日 志 缓 冲 被 写 到 文件 中 ， 但 不 对 日 志文 件 做 刷新 到 磁盘 的 操作 。 对 日 志文 件 的 刷新 每 秒 才 发 生 一 次 。 所 以 ， 理 论 上 ， 操 作 系统 崩溃 或 掉 电 只 


会 丢失 最 后 一 秒 的 事务 。 


(4) sync_binlog， 建 议 设置 为 0 


如 果 是 autocommit 模 式 ， 那 么 每 执行 一 个 语句 就 会 向 二 进 制 


志 写 入 一 次 ， 否 则 每 个 事务 写 入 一 次 。 如 果 sync_binlog 的 值 为 正 ， 那 么 每 当 sync_binlog 参 数 设 定 的 语句 或 事务 数 被 写 入 二 进 制 


忘 


后 ，MySQL 服 务 器 就 会 将 它 的 二 进 制 日 志 同 步 到 硬盘 上 。 默 认 值 是 0， 不 与 硬盘 同步 。 值 为 1 是 最 安全 的 选择 ， 因 为 崩溃 时 ， 你 最 多 丢掉 二 进 制 日 志 中 的 一 个 语句 或 事务 。 但 是 ， 这 也 是 最 慢 的 选择 ， 成 本 晶 


时 
责 。 


另外 ， 在 MySQL 中 ， 数 据 库 对 应 数据 目录 中 的 目录 。 数 据 库 中 的 每 个 表 至 少 对 应 数据 库 


录 中 的 一 个 文件 (也 可 能 是 多 个 ， 取 决 于 存储 引擎) 。 因 此 ， 所 使 用 操作 系统 的 大 小 写 敏 感性 决定 了 数据 库 名 


和 表 名 的 大 小 写 敏感 性 。 在 大 多 数 Unix 中 数据 库 名 和 表 名 对 大 小 写 敏感 ， 而 在 Windows 中 对 大 小 写 则 不 敏感 。 我 们 应 设置 变量 lower case table names=0， 这 也 是 Unix/Linux 系 统 的 默认 值 。 开 发 环境 、 
测试 环境 的 MySQL 也 建议 部 署 在 Unix/Linux 平 台 ， 尽 可 能 和 生产 环境 一 致 。 


Oi 本 章 介 绍 了 如 何在 生产 环境 中 部 署 MySQL， 一 般 情况 下 ， 掌 握 二 进 制 版 本 的 安装 即 可 ， 本 章 也 介绍 了 几 个 常用 的 命令 mysql、mysqladmin、mysqldump， 这 些 命令 的 选项 较 多 ， 全 部 掌握 不 太 现 


实 ， 但 对 它们 的 常用 用 法 应 该 熟悉 。 


二 部 分 “开发 篇 


本 篇 首先 讲述 数据 库 开发 的 一 些 基础 知识 ， 如 关系 数据 模型 、 常 用 的 SQL 语法 、 范 式 、 索 引 、 事 务 等 ， 然 后 介绍 编程 开发 将 会 涉及 的 数据 库 的 一 些 技巧 ， 最 后 结合 生产 实际 ， 提 供 一 份 开 发 规范 供 大 家 


参考 。 


第 3 章 ”开发 基础 


本 章 将 为 读者 介绍 MySQL 数 据 库 相关 的 开发 基础 ， 首 先 ， 介 绍 一 些 基础 概念 ， 然 后 讲解 关系 数据 模型 和 SQL 基 础 。 由 于 在 互联 网 开发 者 中 ，PHP 开 发 者 占据 了 相当 大 的 比重 ， 因 此 这 里 也 将 简要 介绍 下 
PHP 开 发 者 应 该 掌握 的 一 些 基础 知识 和 开发 注意 事项 。 最 后 ， 要 接触 的 是 MySQL 数 据 库 更 深层 次 的 内 容 一 一 索引 、 主 键 、 字 符 集 等 。 


3.1 ”相关 基础 概念 


(1) 框架 


在 软件 开发 过 程 中 ， 研 发 人 员 经 常 借助 框架 (framework) 来 辅助 自己 进行 软件 开发 。 成 熟 的 框架 可 以 帮助 处 理 很 多 细节 性 的 问题 ， 并 完成 一 些 基础 性 的 工作 ， 如 生成 访问 数据 库 的 代码 、 简 化 网 络 编 
程 ， 这 样 开发 者 就 会 有 更 多 的 时 间 和 精力 专注 于 业务 逻辑 的 设计 。 但 目前 仍 存在 的 一 个 问题 是 ， 一 些 框架 对 于 数据 库 的 使 用 不 符合 我 们 的 预期 ， 或 者 说 不 友好 ， 故 而 有 必要 先 了 解 一 下 开发 框架 是 如 何 存 取 
数据 的 。 大 家 有 兴趣 的 话 ， 可 深入 学 习 和 使 用 如 下 这 些 业 内 使 用 比较 广泛 的 一 些 框架 ， 如 Django (Python) 、Ruby on Rails (Ruby) 、Zend Framework (PHP) 、Spring (JAVA) 等 。 


(2) 数据 模型 


数据 模型 (data model) 是 数据 的 定义 和 格式 ， 即 数据 是 如 何 组 织 的 。 关 系数 据 模 型 是 以 二 维 表 的 结构 来 表示 实体 与 实体 之 间 的 联系 ， 每 个 二 维 表 又 可 称 为 关系 。 关 系 可 以 看 作 是 一 系列 记录 的 集合 。 
如 ， 员 工 关系 表 ( 见 表 3-1) 和 项 目 关 系 表 ( 见 表 3-2) 。 


部 门 
应 用 研发 部 


表 3-2 项 目 关系 表 


EPE 有 3 了 ETEEE 


彩票 | 和 瑟 | 张 E= | 和 | 六 | 于 = | 氏 


从 以 上 两 个 关系 表 中 可 以 看 出 ， 项 目 表 和 员工 表 是 存在 某 种 关系 的 。 众 多 的 关系 表 ， 以 及 关系 表 之 间 的 关系 ， 构 成 了 关系 数据 模型 ， 而 支持 关系 模型 的 数据 库 管理 系统 则 称 之 为 关系 数据 库 管理 系统 。 


其 他 的 模型 还 有 XML 和 图 数据 模型 (graph data model) 等 。 


XML 是 一 种 层次 结构 的 数据 结构 ， 使 用 标签 、 标 签 值 来 标识 信息 ， 如 下 面 的 这 个 xml 文 件 。 


<note> 
<to>George</to> 
<from>John</from> 
<heading>Reminder</heading> 
<body>Don't forget the meeting!</body> 
</note> 


而 图 数据 模型 存储 的 数据 则 是 以 点 、 线 的 方式 进行 存储 的 。 


(3) schema 


schema 可 译作 “模式 ”， 不 同 的 数据 库 管理 系统 ，schema 的 意义 会 有 些 不 同 。 依 据 维基 百科 的 定义 : schema 指 的 是 用 数据 库 管理 系统 支持 的 语言 描述 的 数据 结构 ， 它 定义 了 数据 是 如 何 组 织 构建 
的 。 


典型 的 关系 数据 模型 ， 是 以 数据 库 表 的 形式 来 组 织 数据 的 ， 数 据 存 储 于 一 系列 设计 好 的 表 中 。 也 就 是 说 ， 关 系数 据 库 的 schema 就 是 数据 库 中 各 种 关系 的 结构 化 描述 。 一 般 来 说 ， 数 据 建 模 就 是 设计 数据 
表 的 过 程 ， 一 般 在 项 目 初期 就 设计 好 表 结 构 ， 在 开发 过 程 中 可 能 会 不 断 地 调整 表 结构 ， 但 一 旦 应 用 上 线 ， 表 结构 往往 就 不 会 频繁 变更 了 。 若 项 目 积累 了 大 量 数据 ， 这 时 再 修改 表 结 构 可 能 会 很 耗 时 ， 从 而 严 
重 影响 在 线 服务 ， 所 以 前 期 进行 一 个 优良 的 数据 库 表 设 计 是 很 有 必要 的 ， 这 也 考验 着 开发 人 员 的 数据 建 模 能 力 。 数 据 库 表 的 设计 一 般 由 经 验 丰 富 的 开发 人 员 来 负责 ， 如 果 DBA 时 间 精 力 允许 ， 也 会 参与 到 
要 的 项 目 数据 库 表 设计 中 。 


mn 


MySQL 中 的 schema 可 以 看 作 是 数据 库 (database) 的 同义词 。 我 们 创建 一 个 schema， 其 实 就 是 创建 一 个 数据 库 (create database) 。 而 在 其 他 数据 库 中 ，schema 的 概念 则 略 有 不 同 。 


(4) 结构 化 数据 


结构 化 数据 通常 是 指 被 记录 信息 的 类 型 ， 格 式 等 属性 是 固定 的 ， 一 般 可 存储 于 关系 数据 库 或 电子 表格 中 ， 可 以 用 数据 记录 的 形式 进行 表达 和 存储 ， 如 产品 及 其 零 部 件 的 名 称 、 代 号 、 设 计 日 期 、 类 型 等 
信息 。 结 构 化 数据 往往 需要 预先 定义 好 业务 数据 类 型 的 模型 ， 确 定 这 些 数据 类 型 是 如 何 存储 、 处 理 和 访问 的 。 例 如 确定 业务 数据 的 哪些 字段 信息 需要 存储 ， 以 及 这 些 信息 的 数据 类 型 数字、 货币 、 字 符 
串 、 日 期 等 ) 和 数据 输入 的 校 验 (如 字符 个 数 、 日 期 范围 等 ) 。 很 长 时 间 以 来 ， 关 系数 据 库 或 电子 表格 软件 是 处 理 结构 化 数据 的 最 佳 工具 ， 所 以 业内 也 有 人 简单 地 把 存储 在 关系 数据 库 中 能 用 二 维 表格 表示 
的 数据 称 为 结构 化 数据 ， 如 来 自 于 企业 内 部 已 经 被 变换 成 固定 规则 、 格 式 的 数据 ， 而 把 不 方便 用 关系 数据 库存 取 的 数据 称 为 非 结构 化 数据 ， 如 市 场 比较 和 分 析 报告 、 股 票 行情 等 就 是 以 非 结构 化 的 、 不 可 预 
测 的 格式 呈现 的 数据 。 


D] 


(5) 非 结构 化 数据 


有 些 信息 无 法 用 数字 或 统一 的 结构 来 表示 ， 或 者 说 没有 一 个 预定 义 的 数据 模型 ， 如 文本 、 照 片 和 图 形 图 像 、 声 音 、 视 频 、 网 页 、PDF 文 件 、PowerPoint 演 示 文 稿 、 电 子 邮 件 、 博 客 、Wiki 和 文字 处 理 文 
档 等 ， 我 们 将 其 称 之 为 非 结构 化 数据 。 


(6) 半 结 构 化 数据 


半 结 构 化 数据 介 于 结构 化 数据 和 非 结构 化 数据 之 间 ， 它 可 看 作 是 一 种 结构 化 数据 ， 但 是 缺乏 严格 的 数据 模型 ， 半 结构 化 数据 可 通过 标签 或 其 他 类 型 的 标记 识别 数据 中 的 某 些 元 素 ， 但 半 结 构 化 数据 不 具 
有 刚性 结构 。XML 和 其 他 标记 语言 经 常 被 用 来 管理 半 结 构 化 数据 。 


例如 ， 文 字 处 理 软件 现在 可 以 定义 元 数据 ， 用 于 显示 作者 的 姓名 和 创建 日 期 ， 但 数据 的 主体 一 一 文本 文件 仍然 是 非 结构 化 数据 。 电 子 邮件 有 发 件 人 、 收 件 人 、 日 期 、 时 间 和 其 他 标识 信息 ， 但 电子 邮件 
消息 的 内 容 和 附件 仍然 是 非 结构 化 数据 。 照 片 或 图 形 图 像 能 使 用 一 些 关 键 字 进 行 标识 ， 如 创作 者 、 日 期 、 地 点 和 关键 字 ， 从 而 能 够 组 织 和 定位 照片 和 图 形 图 像 ， 但 图 像 本 身 是 非 结构 化 数据 。 


网 


相对 于 非 结构 化 数据 ， 结 构 化 数据 往往 存储 于 关系 数据 库 中 ， 可 以 利用 关系 数据 库 进 行 高 效 地 存储 和 检索 ， 但 现实 中 的 数据 并 不 是 总 能 被 固定 的 结构 来 描述 的 ， 生 活 也 并 不 总 是 合适 整齐 的 小 盒子 。 非 
结构 化 数据 和 半 结 构 化 数据 是 现实 世界 的 主要 数据 ， 而 且 正 在 以 惊人 的 速度 激增 ， 它 们 的 增长 比 结构 化 数据 的 增长 更 快 ， 在 大 数据 时 代 ， 非 结构 化 〈 半 结构 化 ) 数据 的 提取 、 存 储 和 管理 是 一 个 难点 ， 非 结 
构 化 数据 能 否 被 有 效 地 管理 和 应 用 ， 这 对 于 企业 未 来 的 发 展 道路 影响 深远 。 


(7) DDL 


数据 定义 语言 (Data Definition Language，DDL) 是 负责 数据 结构 定义 与 数据 库 对 象 定义 的 语言 。 为 了 设计 schema， 如 创建 数据 库 ， 创 建 表 ， 这 时 就 需要 用 到 数据 定义 语言 。 我 们 常用 的 有 
CREATE、ALTER、DROP 语 句 。 例 如 ， 创 建 数据 库 的 语句 如 下 。 


CREATE DATABASE databae name; 


创建 表 的 语句 如 下 。 


CREATE TABLE table name (id INT, name VARCHAR(10)); 


添加 字段 的 语句 如 下 。 


ALTER TABLE table name ADD COLUMN column name INT ; 


删除 表 的 语句 如 下 。 


DROP TABLE table name; 


(8) DML 


数据 操作 语言 (Data Manipulation Language，DML) 是 用 来 查询 和 修改 数据 的 语句 ， 包 括 SELECT、INSERT、UPDATE、DELETE 4 种 语句 ， 分 别 代表 查询 、 插 入 、 更 新 与 删除 ， 有 很 多 开发 人 员 将 
它们 称 之 为 “CRUD” (Create、Read、Update 和 Delete) ， 对 应 的 操作 见 表 3-3。 


Operation SQL 
Create INSERI 
Read (Retrieve) SELECT 
Update (Modify) UPDATE 
Delete (Destroy) DELETE 


3.2 ”数据 模型 


3.2.1 ”关系 数据 模型 介绍 


目前 数据 库 领域 使 用 最 广泛 的 就 是 关系 数据 模型 ， 业 内 主流 的 数据 库 产 品 都 是 建立 在 关系 数据 模型 之 上 的 ， 如 Oracle、MS SQLServer、MySQL、PostgreSQL、DB2。 关 系 型 数据 库 系 统 的 技术 发 展 了 
几 十 年 ， 已 经 相当 成 熟 ， 在 数据 库 中 也 得 到 了 高 效 的 实现 。 关 系 型 数据 库 管理 系统 的 标准 语言 一 一 结构 化 查询 语言 (SQL) ， 是 一 种 高 级 的 非 过 程 化 编程 语言 ， 它 已 经 成 为 事实 上 的 工业 标准 而 被 广泛 使 
， 而 且 也 变 成 了 一 项 必须 被 程序 员 掌 握 的 标准 技能 。 


下 面 仍然 以 3.1 节 的 两 个 表 为 例 ( 见 表 3-4 和 表 3-5) ， 说 明 一 些 概念 。 


表 3-4 员工 关系 表 (employee) 


员工 编号 绩效 得 分 
123 80 
124 NULL 
125 东 华 ; 网 络 工 程 师 运 维 部 90 
126 系统 工程 师 游戏 研发 部 100 
127 张 卫 -发 工程 师 游戏 研发 部 NULL 


表 3-5 项 目 关系 表 (project) 


IE 


从 表 3-4 和 表 3-5 可 以 看 出 ， 关 系数 据 模 型 是 由 一 系列 的 “关系 ”组 成 的 。 “关系 ” 也 就 是 我 们 所 说 的 表 (table) 。 每 个 表 也 存在 一 个 或 多 个 属性 (字段 ) ， 如 “员工 编号 ”、“ 姓 名 ”、“ 性 别 ”。 每 
个 字段 均 有 对 应 的 数据 类 型 (type) ， 如 “ 整 型 ”、 “字符 型 ”、“ 枚 举 类 型 ”。 关 系 模型 建立 后 ， 就 可 以 在 这 些 关 系 ( 表 ) 中 插入 、 修 改 、 删 除 、 查 询 数据 了 。 


1 关于 NUIL 


如 果 某 个 字段 的 值 是 未 知 的 或 未 定义 的 ， 数 据 库 会 提供 一 个 特殊 的 值 NULL 来 表示 。NULL 值 很 特殊 ， 在 关系 数据 库 中 应 该 小 心 处 理 。 例 如 对 表 employee， 运 行 查询 语句 “select*from employee 
Where 绩效 得 分 <=85 or> 绩 效 得 分 >85; ”可 能 很 多 人 认为 这 样 能 获取 所 有 记录 ， 但 实际 上 ， 由 于 王刚 和 张 卫 的 绩效 得 分 是 未 知 的 (NULL) ， 因 此 他 们 不 会 被 包含 在 查询 结果 中 。 


2. 关 于 key 和 索引 


key 常 指 表 中 能 唯一 标识 一 笔记 录 的 字段 (属性 ) 或 多 个 字段 的 组 合 。 现 实 中 ，key 和 索引 可 以 简单 地 看 作 同 义 词 ，key 不 一 定 唯一 标识 一 笔记 录 ， 本 书 以 后 的 论述 中 会 使 用 “索引 ”、 “主键 索引 ”、 
“唯一 索引 ”这 些 术 语 。 我 们 可 以 通过 某 个 记录 的 索引 /key 去 查找 记录 。 数 据 库 管理 系统 为 了 高 效 地 检索 记录 ， 往 往 会 创建 各 种 索引 结构 加 速 检 索 记 录 ， 者 让 贡 让 | 儿 a 的 轩 生 估 忆 所 以 基于 记录 
的 索引 /key 会 很 容易 查找 到 记录 。 关 系数 据 库 中 的 表 之 间 的 关联 往往 也 是 通过 索引 来 进行 关联 的 ， 比 如 上 面 的 project 表 ， 项 目 组 成 员 存储 的 是 员工 编号 ， 可 以 通过 员工 编号 和 另外 一 张 员 工 关系 表 一 一 
employee 表 (员工 编号 字段 上 有 主键 索引 ) 进行 关联 。 


3.2.2 ”实体 -关系 建 模 


由 于 设计 人 员 、 研 发 人 员 和 最 终 用 户 看 待 和 使 用 数据 的 方式 不 同 ， 因 此 可 能 会 导致 数据 库 的 设计 不 能 反映 真实 的 需求 ， 以 及 后 期 出 现 的 扩展 性 问题 ， 为 了 能 够 更 准确 理 地 解数 据 的 本 质 ， 理 解 使 用 这 些 
数据 的 方法 ， 我 们 需要 有 一 个 通用 的 模型 ， 这 个 模型 和 技术 实现 无 关 。 实 体 关系 图 (ER 模型 ) 就 是 这 样 一 个 通用 模型 的 例子 。 以 下 介绍 ER 建 模 的 一 些 关键 概念 。 


(1) ER 建 模 


1976 年 Peter Chen 首 次 提出 了 Entity Relationship Modeling (实体 关系 建 模 ) 概念 ， 并 发 明了 陈 氏 表示 法 (Peter Chen”s notation) 。 随 着 问题 复杂 度 的 增加 ， 适 应 范围 的 增 广 ， 截 至 今天 出 现 了 
许多 ER 模型 的 表示 法 ， 如 Barker ER Information Engineering (IE) 和 IDEF1X 或 Crow′”s foot 表 示 法 。 各 种 表示 法 都 有 它们 的 优 缺点 和 适用 领域 ,但 它们 都 基于 同样 的 建 模 概念 。 


ER 建 模 是 一 种 自 上 而 下 的 数据 库 设计 方法 。 我 们 通过 标识 模型 中 必须 要 表示 的 重要 数据 ( 称 为 实体 ) 及 数据 之 间 的 关系 开始 ER 建 模 ， 然 后 增加 细节 信息 ， 如 实体 和 关系 所 要 具有 的 信息 ( 称 为 属性 ) 。 
该 方法 的 输出 是 实体 类 型 、 关 系 类 型 和 约束 条 件 的 清单 。 


(2) UML 


[ 


UML (Unified Modeling Language， 统 一 建 模 语言 ) 是 一 种 分 析 人 员 和 开发 人 员 广 泛 使 用 的 标准 建 模 语言 ， 它 可 以 以 图 形 化 的 方式 表示 实体 、 关 系 。UML 最 初 用 于 软件 设计 ， 目 前 已 经 扩展 到 业务 
和 数据 库 设 计 。UML 包 括 分 析 、 实 施 、 部 署 过 程 中 指定 任何 事项 所 必需 的 元 素 和 图 表 。 通 过 使 用 几 种 图 表 和 数 十 种 元 素 ，UML 能 表达 不 同 程度 的 系统 抽象 。 对 于 ER 建 模 ， 我 们 只 需要 了 解 常用 于 ER 建 模 的 
一 些 视图 和 表示 即 可 。 


(3) 实体 


实体 代表 现实 世界 的 一 组 对 象 集合 ， 可 以 粗略 地 认为 它 是 名 词 ， 如 学 生 、 和 雇员、 订单、 演员 、 电 影 。 实 体 一 般 用 矩形 来 表示 。 


(4) 关系 


关系 指 特定 实体 之 间 的 关系 。 可 以 粗略 地 认为 是 动词 ， 如 公司 拥有 员工 、 演 员 演 电影 。 关 系 用 线 来 表示 。 一 般 为 二 元 关系 。 


关系 的 基数 指 参与 关系 的 实体 数目 。 二 元 关系 的 基数 就 是 我 们 所 说 的 一 对 一 、 一 对 多 、 多 对 多 。 在 数据 库 设计 中 ， 需 要 选择 合适 的 基数 表示 法 ， 如 IDEF1X 表 示 法 、 关 系 表 示 法 或 Crow” s foot 表 示 法 。 
本 书 中 的 例子 一 般 使 用 Crow” s foot 表 示 法 ， 下 面 简要 介绍 下 Crow”′ s foot 表 示 法 。 


对 于 Crow'” s foot 表 示 法 ， 实 体 表示 为 矩形 框 ， 关 系 表示 为 矩形 框 之 间 的 线 ， 线 两 端的 形状 表示 关系 的 基数 。 空 心 圆 表示 零 或 多 ， 单 阴影 线 标记 表示 一 或 多 ， 单 阴影 线 标记 和 空心 圆 表示 零 或 一 ， 双 阴 
影 线 标记 表示 恰好 为 一 。 


许多 建 模 工具 都 可 以 使 用 Crows' foot 表 示 法 ， 如 ARIS、System Architect、Visio、PowerDesigner、MySQL Workbench 等 。 


属性 指 实体 或 关系 的 特征 ， 如 实体 雇员 的 姓名 、 地 址 、 生 日 、 身 份 证 ID 等 。 如 果 要 一 起 显示 实体 和 属性 ， 那 么 就 把 代表 实体 的 矩形 分 为 两 部 分 ， 上 半 部 分 显示 实体 名 ， 下 半 部 分 列 出 属性 名 。 


在 图 3-1 中 ，Artist (艺术 家 ) 实体 和 Song (歌曲 ) 实体 的 关系 是 艺术 家 演唱 歌曲 。 


Perftomnls 


图 3-1 Artist 实体 和 Song 实 体 的 关系 


这 两 个 实体 使 用 的 是 Crow” s foot 表 示 法 ,靠近 Song 实 体 一 端的 符号 表示 “0、1 或 更 多 ”， 靠 近 Artist 一 端的 符号 表示 “1 且 只 有 1 个 ”， 所 以 图 3-1 表 示 一 个 艺术 家 可 以 演唱 0 首 、1 首 或 者 多 首 歌曲 。 


关于 ER 建 模 更 详细 的 信息 ， 请 阅读 其 他 相关 书籍 。 


3.2.3 ”其 他 数据 模型 


1.XML 数 据 模型 


对 于 结构 化 数据 ， 除 了 关系 模型 ， 还 可 以 使 用 XML 数据 模型 存 取 数据 。 XML (eXtensible Markup Language) 是 可 扩展 标记 语言 ， 最 开始 设计 XML 的 目的 是 为 了 在 Internet 上 交换 数据 。 标 记 是 指 计 
算 机 所 能 理解 的 信息 符号 ， 通 过 此 种 标记 ， 计 算 机 之 间 可 以 处 理 包含 各 种 信息 的 文章 等 。 如 何 定义 这 些 标记 ? 既 可 以 选择 国际 通用 的 标记 语言 ， 比 如 HTML， 也 可 以 使 用 像 XML 这 样 由 相关 人 士 自由 决定 的 
标记 语言 ， 这 就 是 语言 的 可 扩展 性 。 


XML 被 广泛 用 作 跨 平台 之 间 数 据 交互 的 形式 ， 主 要 针对 数据 的 内 容 ， 通 过 不 同 的 格式 化 描述 手段 (XSL、CSS 等 ) 来 完成 最 终 的 形式 展现 (生成 对 应 的 HTML、PDF 或 其 他 的 文件 格式 ) 。 


常用 的 查询 语言 是 XPath， 即 XML 路 径 语言 (XML path language) ， 它 是 一 种 用 来 确定 XML 文档 中 某 部 分 的 位 置 的 语言 。 XPath 基于 XML 的 树 状 结构 ， 提 供 在 数据 结构 树 中 找寻 节点 的 能 力 。 


在 图 3-2 中 ， 一 个 形式 良好 的 XML 文档 或 XML 字符 串 ， 经 过 CSS 或 XSL 解 析 器 的 解析 ， 最 终生 成 客户 端 可 接受 的 展现 形式 。 


规则 


CSS/XSL 


解析 器 


图 3-2 ”XML 文档 (数据 ) 解析 输出 的 过 程 


以 下 是 一 个 XML 的 例子 。 


<?xml version="1.0" ?> 

<person sex="female"> 
<firstname>Anna</firstname> 
<lastname>Smith</lastname> 

</person> 


可 以 看 到 XML 的 格式 和 HTML 文 件 比 较 类 似 ， 但 两 者 也 有 不 同 之 处 。XML 被 设计 为 传输 和 存储 数据 ， 其 标签 描述 的 是 数据 的 内 容 。HTML 被 设计 用 来 显示 数据 ， 其 标签 是 用 来 格式 化 数据 的 。 


由 于 XML 文件 的 标签 描述 的 是 数据 的 内 容 ， 因 此 XML 文件 可 以 看 作 “ 自 描述 ”的 文件 。 


一 个 形式 良好 的 XML 主要 包含 如 下 三 个 基本 部 分 。 


:元素 ， 如 上 面 的 person。 元 素 允 许 谋 套 ， 如 Person 包 含 子 元 素 firstname、lastname。 元 素 有 开始 标签 和 关闭 标签 ， 如 上 面 的 <person></person>。 
“ 属性 ， 元 素 还 可 以 拥有 属性 ， 如 上 面 例子 中 的 sex= “female”。 


' 文本 ， 如 上 面 例子 中 的 Anna、Smith。 


XML 作为 一 项 数据 交换 的 标准 被 广泛 使 用 ， 因 此 某 种 意义 上 ，XML 也 是 关系 数据 模型 的 竞争 者 。 表 3-6 对 关系 数据 模型 和 XML 数据 模型 做 了 简要 对 比 。 


表 3-6 关系 数据 模型 和 XML 数据 模型 的 对 比 


比较 项 关系 XML 


五 er) 


预先 定义 好 模式 ， 有 固定 的 模式 后 才能 很 灵活 ,“ 自 描述 "， 数据 和 schema 是 混合 在 一 起 的 ， 


模式 Net ep es 
存 人 数据 相当 于 模式 是 可 以 灵活 变化 的 
查询 简单 友好 的 查询 语言 (SQL) XPATH, 不 那么 易 用 ， 需 要 一 些 技 巧 
无 (InnoDB 按照 主键 顺序 存储 数据 是 本 0 
Rens 可 隐 含 排序 。XML 文档 中 的 子 元 素 可 以 按照 自己 的 规 
排序 。 “| 个 特例 )， 查 询 一 般 需 要 使 用 ORDER BY 子 | “ 虹 合 排 有 iE 
ee 则 进行 排序 
名 进行 排序 
往往 是 关系 数据 库 的 附加 功能 ， 虽 然 可 以 以 XML 的 
实现 关系 数据 库 系 统 已 经 很 成 熟 了 。 原 生 的 | 形式 存 取 数 据 ， 但 内 部 实现 仍然 是 关系 数据 模型 ， 需 要 


实现 转化 为 关系 数据 模型 进行 存 取 。 这 样 关 系数 据 库 可 以 同 
时 处 理 关 系数 据 和 XML 数据， 拓展 了 它 的 功能 


在 下 面 的 XML 文档 中 ， 第 一 本 书 没有 输入 price (价格 ) 信息 ， 而 后 面 的 两 本 书 添加 了 price 信 息 ， 这 种 数据 结构 的 不 一 致 性 在 XML 中 是 允许 存在 的 ， 这 就 意味 着 ， 可 以 在 以 后 给 <book> 元 素 添加 或 删 
除 子 元 素 ， 因 此 大 大 增加 了 灵活 性 。 


<bookstore> 
<book category="COOKING"> 
<title lang="en">Everyday Italian</title> 
<author>Giada De Laurentiis</author> 
<year>2005</year> </book> 
<book category="CHILDREN"> 
<title lang="en">Harry Potter</title> 
<author>J K. Rowling</author> 
<year>2005</year> 
<price>29.99</price> 
</book> 
<book category="WEB"> 
<title lang="en">Learning XML</title> 
<author>Erik T. Ray</author> 
<year>2003</year> 
<price>39.95</price> 
</book> 
</bookstore> 


2.JSON 数 据 模型 


JSON (JavaScript Object Notation) 与 XML 类 似 ， 也 适用 于 存储 半 结 构 化 数据 。 JSON 比 XML 出 现 得 更 晚 ， 不 像 XML 那 样 有 比较 完善 的 工具 支持 ， 但 由 于 JSON 更 简洁 ， 更 符合 程序 语言 的 数据 表达 
方式 ， 因 此 ， 在 互联 网 开发 中 ， 一 般 选 择 JSON 而 不 是 XML，JavaScript 的 很 多 工具 包 如 jQuery、ExtjS 等 都 大 量 使 用 了 JSON。 事 实 上 ，JSON 已 经 成 为 了 一 种 前 端 与 服务 器 端的 数据 交换 格式 ， 前 端 程序 通 
过 Ajax 发 送 JSON 对 象 到 后 端 ， 服 务 器 端 脚本 对 JSON 进 行 解 析 ， 将 其 还 原 成 服务 器 端 对 象 ， 然 后 进行 一 些 处 理 ， 反 馈 给 前 端的 仍然 是 JSON 对 象 。 


尽管 JSON 是 Javascript 的 一 个 子 集 ， 但 JSON 是 独立 于 语言 的 文本 格式 ， 并 且 采 用 了 类 似 于 C 语 言 家 族 的 一 些 习惯 。 许 多 程序 语言 都 有 解析 器 ， 可 用 来 处 理 JSON 数 据 。 


JSON 用 于 描述 数据 结构 ， 有 如 下 几 种 存在 形式 。 


“对象: 是 一 个 无 序 的 ““ 名 称 / 值 ” 对 ”集合 。 一 个 对 象 以 “{” ( 左 大 括号 ) 开始 ，“}” ( 右 大 括号 ) 结束 。 每 个 “名 称 ”后 跟 一 个 “:” (冒号 ) ; “ “名称 / 值 ”对 ”之 间 使 用 “,” (过 号 ) 分 


“ 数组 : 是 值 (value) 的 有 序 集合 。 一 个 数组 以 “[” ( 左 中 括号 ) 开始 ，“]” ( 右 中 括号 ) 结束 。 值 之 间 使 用 “,” ( 运 号 ) 分 隔 。 
“ 值 : 可 以 是 双 引 号 括 起 来 的 字符 串 (string) 、 数 值 (number) 、true、false、NULL、 对 象 (object) 或 数组 (array) 。 这 些 结构 可 以 谋 套 。 


下 面 来 举 一 个 例子 。 


"employees":[ 
{"firstName":"John", "lastName":"Doe"}, 
{"firstName":"Anna", "lastName":"Smith"}, 
{"firstName":"Peter", "lastName":"Jones"} 


在 上 面 的 例子 中 ， 对 象 employees 是 包含 三 个 对 象 的 数组 。 每 个 对 象 代表 一 条 关于 某 人 (有 姓 和 名 ) 的 记录 。 


相对 于 传统 的 关系 型 数据 库 ， 一 些 基于 文档 存储 的 NoSQL 非 关系 型 数据 库 则 选择 JSON 作 为 其 数据 存储 格式 ， 比 较 知名 的 产品 有 : MongoDB、CouchDB、RavenDB 等 。 下 面 两 个 表 ( 表 3-7 和 表 3-8) 
列举 了 其 与 关系 数据 模型 和 XML 数据 模型 的 不 同 。 


表 3-7 JSON 与 关系 数据 模型 的 比较 


比较 项 关系 JSON 
数据 结构 腾 套 的 集合 (数组 )， 具 有 层级 结 术 


要 很 灵活 ， 数 据 和 schema 是 混合 在 一 起 的 ， 相 
模式 预先 定义 好 模式 ， 有 固定 的 模式 后 才能 存 人 数据 a ep 
” we 当 于 模式 是 可 以 灵活 变化 的 


查询 简单 友好 的 查询 语言 (SQL ) - 般 自 己 写 程序 处 理 
无 (InnoDB 按照 主键 顺序 存储 数据 是 一 个 特例 )， 


非 序 ee nena ay (数组 ) 是 有 序 世 
排 有 查询 一 般 震 要 使 用 order by 子 句 进行 排序 Ed 
We , - 般 程序 语言 操作 。 一 些 NoSQL 系统 选择 

实现 关系 数据 库 系 统 已 经 很 成 熟 了 。 原 生 的 实现 i . 、 

msi JSON 作为 其 数据 存储 格式 

表 3-8 JSON 与 XML 数据 模型 的 比较 
比较 项 XML JSON 

表达 数据 的 方式 更 和 信息 ， 需 要 用 到 更 多 字符 更 简洁 


更 简单 
有 JSON schema， 但 应 用 很 少 
编程 简单 ， 是 程序 语言 易于 使 用 的 数据 


验证 数据 、 约 束 、 模 型 定义 |IDTDs、XSDs 等 手段 广泛 应 用 


程序 接口 比较 重 ， 不 适合 用 于 编程 语言 进行 编程 结构 
ED 人 
NE [ 具 不 成 熟 ， 往 往 需 要 自己 需要 编写 代 
查 论 有 XPath 、XQuery 、Xslt 等 成 熟 手 段 
] 3 Query 等 成 役 码 来 处 理 


虽然 XML 会 比 JSON 的 存储 占据 更 多 字 节 ， 但 是 如 果 不 是 海量 数据 ， 一 般 是 不 会 出 现存 储 和 性 能 上 的 问题 的 。 有 人 可 能 会 认为 XML 要 比 JSON 的 数据 结构 复杂 得 多 ， 但 如 果 只 是 用 到 XML 的 一 个 子 集 ，| 


基本 的 结构 ， 同 样 也 是 很 简洁 的 。 那 为 什么 有 人 会 觉得 XML 复 杂 呢 ? 更 多 的 原因 是 XML 拥 有 大 量 的 特性 ， 设 定 很 多 ,深入 了 解 需要 花费 很 多 功夫 ， 而 JSON 的 简单 模型 ， 很 快 就 可 以 掌握 了 。 


JSON 与 XML 最 大 的 不 同 之 处 在 于 XML 是 一 个 完整 的 标记 语言 ， 而 JSON 不 是 ，JSON 仪 仅 是 一 种 表达 传输 数据 的 方式 ， 正 如 名 字 所 言 ，JavaScript 对 象 表示 法 (JavaScript Object Notation，JSON) 


是 通过 字符 来 表示 一 个 对 象 的 。 XML 的 设计 理念 与 JSON 不 同 。XML 利 用 标记 语言 的 特性 提供 了 绝 佳 的 扩展 性 能 ， 如 果 数 据 模 型 复杂 多 变 ， 想 要 单独 定义 自己 传输 数据 的 模型 ， 那 么 XML 将 是 一 个 很 好 的 选 
择 ， 但 是 我 们 所 使 用 的 数据 结构 往往 不 需要 变动 ， 这 时 JSON 更 简洁 ， 它 的 数据 结构 很 像 程序 语言 定义 的 数据 结构 ， 在 你 预先 知道 JSON 结 构 的 情况 下 ， 可 以 写 出 实用 美观 、 可 读 性 强 的 代码 ， 如 果 要 存储 或 
传输 的 数据 格式 出 现 了 变化 ， 此 时 就 需要 重新 编码 来 解析 存储 ， 这 方面 的 成 本 往往 是 可 以 接受 的 。 


3.3 SQL 基础 


SQL 是 一 种 高 级 查询 语言 ， 它 是 声明 式 的 ， 也 就 是 说 ， 只 需要 描述 希望 怎么 获取 数据 ， 而 不 用 考虑 具体 的 算法 实现 。 


3.3.1 变量 


MySQL 里 的 变量 可 分 为 用 户 变 量 和 系统 变量 。 


.用 户 变量 


变量 与 连接 有 关 。 也 就 是 说 ， 一 个 客户 端 定义 的 变量 不 能 被 其 他 客户 端 看 到 或 使 用 。 当 客户 端 退出 时 ， 该 客户 端 连 接 的 所 有 变量 将 自动 释放 。 这 点 不 同 于 在 函数 或 存储 过 程 中 通过 DECLARE 语 句 声 


明 的 局 部 变量 ， 局 部 变量 的 生存 周期 在 它 被 声明 的 “BEGIN...END” 块 内 。 对 于 用 户 变量 的 值 ， 可 以 先 保存 在 用 户 变量 中 ， 然 后 以 后 再 引用 它 ; 这 样 就 可 以 将 值 从 一 个 语句 传 递 到 另外 一 个 语句 。 


户 变量 的 形式 为 @var_name。 


设 变量 的 一 个 途径 是 执行 SET 语句 ， 语 法 如 下 。 


SET @var name= expr[, Q@var name= expr] http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/... 


对 于 SET， 可 以 使 用 “=” 或 “:=” 作 为 分 配 符 。 分 配给 每 个 变量 的 expr 可 以 为 整数 、 实 数 、 字 符 串 或 NULL 值 。 如 : 


mysql> SET et1=0，@t2=0，Q@t3=0) 


或 : 


SET @minMid=(select min (idq) FROM table name) ; 


2. 系 统 变量 


MySQL 服 务 器 维护 着 两 种 系统 变量 : 全 局 变量 影响 MySQL 服 务 的 整体 运行 方式 ; 会话 变量 影响 具体 客户 端 连 接 的 操作 。 


当 服 务 器 启动 时 ， 它 将 所 有 全 局 变量 初始 化 为 默认 值 。 这 些 默 认 值 可 以 在 选项 文件 中 或 在 命令 行 中 对 指定 的 选项 进行 更 改 。 服 务 器 启动 后 ， 通 过 连接 服务 器 并 执行 SET GLOBAL var_name 语 句 ， 可 以 


动态 更 改 这 些 全 局 变量 。 要 想 更 改 全 局 变量 ， 必 须 具有 SUPER 权 限 。 


服务 器 还 为 每 个 连接 的 客户 端 维护 一 系列 的 会 话 变量 。 在 连接 时 使 
们 。 设 置 会 话 变量 不 需要 特殊 权限 ， 但 客户 端 只 能 更 改 自己 的 会 话 变量 ， 而 不 能 更 改 其 他 客户 端的 会 话 变量 。 


访问 全 局 变量 的 任何 客户 端 都 可 以 看 见 对 全 局 变量 所 做 的 更 改 。 然 而 ， 它 只 影响 更 改 后 连接 的 客户 的 相应 会 话 变量 ， 而 不 会 影 


响 目前 已 经 连接 的 客户 端 


会 话 变量 (即使 客 


相应 全 局 变量 的 当前 值 对 客户 端的 会 话 变量 进行 初始 化 。 对 于 动态 会 话 变量 ， 客 户 端 可 以 通过 SET SESSION var_name 语 句 更 改 它 


户 端 执行 SET GLOBAL 语句 


也 不 影响 ) 。 也 就 是 说， 如 果 你 的 连接 是 短 连 接 ， 那 么 修改 全 局 变量 后 ， 客 户 端 有 重 连 的 操作 ， 就 会 立刻 影响 到 客户 端 。 而 对 于 长 连接 、 连 接 池 来 说， 连接 可 能 一 直 在 MySQL 里 没有 被 销毁 ， 也 就 不 会 有 重 


连 的 操作 ， 所 以 这 种 情况 下 对 全 局 变量 的 修改 一 般 不 会 影响 到 客户 端 。 


局 变量 或 会 话 变量 (下 面 的 例子 使 


可 以 使 


如 下 几 种 语法 形式 来 设置 或 检索 sort_buffer_size 作 为 示例 变量 名 ) 。 


要 想 设置 一 个 GLOBAL 变量 的 值 ， 可 使 用 下 面 的 语法 。 


mysql> SET GLOBAL sort buffer size=value; 
mysql> SET @@global.sort buffer size=value; 


要 想 设 置 一 个 SESSION 变量 的 值 ， 可 使 有 的 语法 。 


下 夯 


mysql> SET SESSION sort buffer size=value; 
mysql> SET @@session,.sort buffer size=value; 
mysql> SET sort buffer size=value; 


如 果 设 置 变量 时 不 指定 GLOBAL、SESSION 或 LOCAL， 则 默认 使 


SESSION。 


要 想 检 索 一 个 GLOBAL 变量 的 值 ， 可 使 用 下 面 的 语法 。 


mysql> SELECT @Q@global.sort buffer size; 
mysql> SHOW GLOBAL VARIABLES LIKE 'sort buffer size'; 


要 想 检 索 一 个 SESSION 变量 的 值 ， 可 使 有 的 语法 。 


下 夯 


mysql> SELECT @@sort buffer size; 
mysql> SELECT @@session.sort buffer size; 
mysql> SHOW VARIABLES LIKE 'sort buffer size'; 


对 于 SHOW VARIABLES， 如 果 不 指定 GLOBAL、SESSION 的 话 ，MySQL 会 返回 SESSION 值 。 


3.3.2 保留 字 


MySQL 显 式 保留 了 表 3-9 (摘自 官方 文档 ) 中 的 关键 字 。 其 中 大 多 数 关键 字 被 标准 SQL 
是 ， 使 用 了 MySQL 保 留 的 关键 字 作 表 名 、 列 名 ， 这 会 导致 部 署 、 升 级 失败 或 留 下 隐患 。 


表 3-9 ”MySQL 保留 的 关键 字 


当 用 SELECT@ @var_name 搜 索 一 个 变量 时 (也 就 是 说 ， 不 指定 GLOBAL、SESSION) ，MySQL 会 返回 SESSION 值 (如 果 存 在 SESSION 变量 的 话 ) ， 否 则 返回 


作 列 名 和 /或 表 名 (例如 GROUP) 。 少 数 被 保留 了 ， 


GLOBAL 值 。 


为 MySQL 需 要 它们 。 在 生 


EE EE 
CHANGE CHARACTER 


届 


环境 下 ， 常 犯 的 一 个 错误 


保留 字 
CONDITION 
CONTINUE 
CROSS 
CURRENT_TIMESTAMP 
DATABASE 
DAY_MICROSECOND 
DEC 
DEFAULT 
DESC 
DISTINCT 
DOUBLE 
EACH 
ENCLOSED 
EXIT 
FETCH 
FLOATS 
FOREIGN 
GOTO 
HAVING 
HOUR_MINUTE 
IGNORE 
INFILE 
INSENSITIVE 
INTI1 
INT4 
INTERVAL 
ITERATE 
KEYS 
LEADING 
LIKE 
LINES 
LOCALTIMESTAMP 
LONGBLOB 
LOW_PRIORITY 
MEDIUMINT 
MINUTE_MICROSECOND 
MODIFIES 
NO_WRITE TO_BINLOG 


保留 字 
CONNECTION 
CONVERT 
CURRENT_DATE 
CURRENT_USER 
DATABASES 
DAY_MINUTE 
DECIMAL 
DELAYED 
DESCRIBE 
DISTINCTROW 
DROP 
ELSE 
ESCAPED 
EXPLAIN 
FLOAT 
FOR 
FROM 
GRANT 
HIGH_PRIORITY 
HOUR_SECOND 


INNER 

INSERT 

INT2 

INTS 

INTO 

JOIN 

KILL 

LEAVE 

LIMIT 

LOAD 

LOCK 
LONGTEXT 
MATCH 
MEDIUMTEXT 
MINUTE_ SECOND 
NATURAL 
NULL 


RS 


保留 字 
CONSTRAINT 
CREATE 
CURRENT TIME 
CURSOR 
DAY_HOUR 
DAY_SECOND 
DECLARE 
DELETE 
DETERMINISTIC 
DIV 
DUAL 
ELSEIF 
EXISTS 
FALSE 
FLOAT4 
FORCE 
FULLTEXT 
GROUP 
HOUR_MICROSECOND 
IF 
INDEX 
INOUT 
INT 
INT3 
INTEGER 
IS 
KEY 
LABEL 
LEFT 
LINEAR 
LOCALTIME 
LONG 
LOOP 
MEDIUMBLOB 
MIDDLEINT 
MOD 
NOT 
NUMERIC 


保留 字 
ON 
OPTIONALLY 
OUT 
PRECISION 
PURGE 
READ 
REFERENCES 
RENAME 
REQUIRE 
REVOKE 
SCHEMA 
SELECT 
SET 
SPATIAL 
SQLEXCEPTION 
SQL_BIG RESULT 
SSL 
TABLE 
TINYBLOB 
TO 
TRUE 
UNIQUE 
UPDATE 
USING 
UTC_TIMESTAMP 
VARCHAR 
WHEN 
WITH 
XOR 


3.3.3 MySQL 注释 


MySQL 服 务 器 支持 如 下 3 种 注释 风格 。 


“-- ”序列 到 行 尾 。 请 注意 ， 
对 于 语句 “UPDATE account SET credit=credit--1” 


“ 从 “#” 字 符 至 行 尾 。 


保留 字 
SECOND_MICROSECOND 
二 

VARYING 


念 说明 建议 不 要 使 用 “-” 这 样 的 方式 ， 生 产 环 境 可 能 由 于 忘记 在 “--” 后 面 加 空格 从 而 导致 误 操作 。 


下 面 的 例子 显示 了 3 种 风格 的 注释 。 


“ /* 序 列 到 后 面 的 */ 序 列 。 结 束 序 列 不 一 定 在 同一 行 中 ， 因 此 该 语法 允许 注释 跨越 多 行 。 


“--” ( 双 破 折 号 ) 注释 风格 要 求 第 2 个 破 折 号 的 后 面 至 少 要 跟 一 个 空格 符 ( 例 如 空格 、tab、 撞 行 符 等 ) 。 之 所 以 要 求 使 用 空格 ， 是 为 了 防止 出 现 非 预 期 结果 。 比 如 ， 
， 则 是 表示 credit 的 值 减 去 -1， 这 样 的 语法 是 合格 的 ， 而 不 会 误 认 为 “--1” 是 注释 。 


mysql> SELECT 1+1; 
mysql> SELECT 1+1; 


# This comment continues to the end of line 
-- This comment continues to the end of line 


mysql> SELECT 1 /* this is an in-line comment */ + 1; 
mysql> SELECT 1+ 
/* 


this is a 
multiple-line comment 
A 


1; 


MySQL 对 标准 SQL 进行 了 扩展 ， 如 果 使 


了 它们 ， 将 无 法 把 代码 移植 到 其 他 数据 库 的 服务 器 上 。 可 以 | 


“/*..…*/” 注 释 掉 这 些 扩展 。 如 下 例子 中 ，MySQL 服 务 器 能 够 解析 并 执行 注释 中 的 代码 ， 就 像 对 


待 其 他 SQL 语句 一 样 ， 但 其 他 数据 库 服务 器 将 忽略 这 些 扩展 。 


SELECT /*! STRAIGHT JOIN */ col name FROM tablel,table2 WHERE http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/... 


如 果 在 字符 “!” 后 添加 了 版 本 号 ， 那 么 仅 当 MySQL 的 版 本 等 于 或 高 于 指定 的 版 本 号 时 才 会 执行 注释 中 的 语法 ， 比 如 下 面 这 条 语句 。 


CREATE /*!32302 TEMPORRRY */ TABLE 七 (a INT) 


这 就 意味 着 ， 如 果 你 的 版 本 号 为 3.23.02 或 更 高 ， 那 么 MySQL 服 务 器 将 使 用 EMPORARY 关 键 字 。 


3.3.4 数据 类 型 


期 /时 间 类 型 和 字符 串 (字符 ) 类 型 。 


MySQL 支 持 常用 的 数据 类 型 : 数值 类 型 、 


1 .数值 类 型 


数值 类 型 可 分 为 两 类 : 整 型 和 实数 。 对 于 实数 ，MySQL 支 持 确切 精度 的 值 〈 定 点数) 和 近似 精度 的 值 〈 浮 点 数 ) 。 确 切 精度 的 数值 类 型 有 DECIMAL 类 型 ， 近 似 精度 的 数值 类 型 有 生 


双 精 度 (DOUBLE) 两 种 类 型 。 


(1) 整 型 


整 型 包括 TINYINT、SMALLINT、MEDIUMINT、INT、BIGINT， 表 3-10 展 示 了 各 种 整 型 的 空间 占用 及 表示 的 数值 范围 。 


表 3-10 各 种 整 型 占用 的 字 节 数 及 数值 范围 


符号 的 ) 


TINYINT 
SMALLINT 


MEDIUMINT 


ET 


在 表 3-10 中 ,无 符号 (unsigned) 属性 可 扩展 一 倍 的 最 大 值 上 限 。 


INT 


BIGINT 


最 大 值 
( 带 符 号 的 /无 符号 的 ) 


65535 

3388607 

16777215 

2147483647 
4294967295 
9223372036854775807 
18446744073709551615 


精度 (FLOAT) 或 


Bt 总 MYSQL 整 型 可 设置 一 个 “width” 必 性， 这 点 很 容易 让 人 混 消 。 实 际 上 ， 这 不 是 一 个 精度 ， 只 是 告诉 客户 端 工具 显示 多 少 个 字符 而 已 ， 如 INT (11) : 11 表 示 的 不 是 数值 范围 ， 只 是 显示 宽度 


(告诉 交互 式 工具 显示 宽度 ， 如 MySQL 客 户 端 ) 。 


由 于 MySQL 的 内 部 类 型 只 支持 到 秒 级 别 的 精度 ， 


此 可 以 用 BIGINT 来 存储 精度 到 毫秒 的 时 间 戳 。 


开发 数据 库 应 用 的 时 候 ， 需 要 注意 的 是 ， 应 保留 足够 的 范围 来 满足 未 来 的 数据 增长 需要 ， 对 于 超过 数值 范围 的 插入 /修改 数据 ，MySQL 将 报错 失败 ， 例 如 对 于 SMALLINT 类 型 ， 值 的 范 


由 为 - 


32768~32767， 那 么 在 自 增 ID 列 (后 文 会 详 述 ) 的 值 已 经 到 了 32767 后 ， 还 继续 插入 记录 ， 就 会 报错 “Duplicate entry'32767'for key' PRIMARY” ， 而 且 更 新 的 值 超过 最 高 冰 值 时 也 会 报错 ， 如 “Out of 


range value for column'id'at row 1” 。 


可 以 设置 unsigned 属 性 来 扩展 数据 范围 。 


(2) DECIMAL 和 NUMERIC 类 型 (定点 数 ) 


定点 数 也 就 是 DECIMAL 型 ， 指 的 是 数据 的 小 数 点 的 位 置 是 固定 不 变 的 。 也 就 是 说 ， 小 数 点 后 面 的 位 数 是 固定 的 。 


DECIMAL 和 NUMERIC 在 MySQL 中 被 视 为 相同 的 类 型 。 它 们 上 


于 保存 必须 为 确切 精度 的 值 ， 例 如 货币 数据 。 当 声明 该 类 型 的 列 时 ， 可 以 (并且 通 常 要 ) 指定 精 


中 ，M 是 精度 ， 表 示 数 据 的 总 长 度 ， 也 就 是 十 进 制 数字 的 位 数 ， 不 包括 小 数 点 ; D 是 标 度 ， 表 示 小 数 点 后 面 的 数字 位 数 。 在 MySQL 5.1 中 ，M 的 范 B 


语句 ，5 是 精度 ，2 是 标 度 。 


度 和 标 度 ; 比如 ， 在 DECIMAL(M,D) 


是 1~65，D 的 范围 是 0~30 且 不 能 大 于 M。 例 如 下 面 


salary DECIMAL (5,2) 


对 于 数值 123456789.12345， 可 以 这 样 定义 ，M=14，D=5。 


在 MySQL 5.1 中 以 二 进 制 格式 保存 DECIMAL 和 NUMERIC 的 值 。 如 果 值 太 大 超出 了 BIGINT 的 范围 ， 也 可 以 用 DECIMAL 存 储 整 型 。 


定点 数 表达 法 的 缺点 在 于 其 形式 过 于 僵硬 ， 固 定 的 小 数 点 位 置 决定 了 固定 位 数 的 整数 部 分 和 小 数 部 分 ， 不 利于 同时 表达 特别 大 的 数 或 特别 小 的 数 。 


(3) FLOAT 和 DOUBLE 类 型 ( 浮 点 数 


浮 点 数 (floating-point number) 是 属于 有 理 数 中 某 个 特定 子 集 的 数 的 表示 法 ， 在 计算 机 中 用 于 近似 地 表示 任意 某 个 实数 。 具 体 来 说 ， 这 个 实数 是 由 一 个 整数 或 定点 数 ( 即 尾数 ) 乘 以 某 个 基数 ( 计 
算 机 中 通常 是 2) 的 整数 次 圳 (指数 ) 得 到 的 ， 这 种 表示 方法 类 似 于 基数 为 10 的 科学 记 数 法 。 比 如 123.45 可 以 用 十 进 制 科学 计数 法 表达 为 “1.2345x102”， 其 中 1.2345 为 尾数 ，10 为 基数 ，2 为 指数 。 浮 点 


数 利用 指数 达到 了 浮动 小 数 点 的 效果 ， 从 而 可 以 灵活 地 表达 更 大 范 


在 MySQL 中 ， 对 于 浮 点 列 类 型 ， 单 精度 值 (FLOAT) 使 F 


为 了 保证 最 大 可 能 的 可 移植 性 ， 对 于 使 用 近似 数值 存储 的 


免 做 浮 点 数 比较 。 


的 实数 。 


4 个 字 节 ， 双 精度 值 (DOUBLE) 使 用 8 个 字 节 。 浮 点 数 可 以 比 整 型 、 定 点 数 表示 更 大 的 数值 范围 


代码 ， 应 使 用 FLOAT 或 DOUBLE 来 表示 ， 不 规定 精度 或 位 数 。 由 于 浮 点 数 存在 误差 问题 ， 如 果 用 到 浮 点 数 ， 要 特别 注意 误差 的 问题 ， 并 尽量 避 


MySQL 人 允许 使 用 非 标准 语法 : FLOAT(M,D) 或 DOUBLE(M,D)。 这 里 ，“(M,D)” 表 示 该 值 一 共 显 示 了 M 位 整数 ， 其 中 D 位 整数 位 于 小 数 点 后 面 。 例 如 ， 定 义 为 FLOAT(7,4) 的 一 个 列 可 以 显示 为 - 


999.9999。MySQL 保 存 值 时 会 进行 四 舍 五 入 


浮 点 型 (FLOAT/DOUBLE) 对 比 定点 类 型 (DECIMAL) 使 


2. 日 期 /时 间 类 型 


此 如 果 在 FLOAT 


7,4) 列 内 插入 999.00009， 近 似 结果 是 999.0001。 


的 空间 更 少 ， 所 以 为 了 减少 存储 空间 ， 应 尽量 不 要 使 用 DECIMAL， 除 非 是 在 保存 确切 精度 的 值 时 ， 比 如 货币 数据 。 


表示 时 间 值 的 日 期 和 时 间 类 型 有 DATETIME、DATE、TIMESTAMP、TIME 和 YEAR 等 。 每 个 时 间 类 型 都 有 一 个 有 效 值 范围 ，TIMESTAMP 类 型 有 其 特有 的 自动 更 新 特性 。 


如 果 试图 插入 一 个 不 合法 的 日 期 ，MySQL 将 给 出 


为 从 0 到 12， 日 的 范围 是 否 为 从 0 到 31。 有 时 应 用 程序 希 


01-0100:00:00 。 


或 错误 。 可 以 使 用 ALLOW _INVALID_DATES SQL 模式 让 MySQL 接 受 某 些 日 期 ， 例 如 '1999-11-31'。 在 这 种 模式 下 ，MySQL 只 验证 月 的 范围 是 否 
保存 一 个 特定 的 不 合法 日 期 ， 以 便 将 来 进行 处 理 ， 这 时 可 以 利用 这 个 模式 。 但 更 常见 的 处 理 方式 是 设置 一 个 不 可 能 的 特定 的 合法 日 期 值 ， 如 ' 9999- 


如 果 是 没有 使 用 NO_ZERO_DATE 的 SQL 模式 ， 默 认 情况 下 ，MySQL 只 允许 在 DATE 或 DATETIME 列 保存 月 和 日 是 零 的 日 期 。 这 在 应 用 程序 中 需要 保存 一 个 你 不 知道 确切 日 期 的 生日 时 非常 有 用 ， 在 这 种 


情况 下 ， 只 需要 将 日 期 保存 为 '1999-00-00 或 '1999-01-00 ' 即 可 。 


如 果 不 使 用 NO_ZERO_DATE SQL 模式 ，MySQL 还 人 允许 将 "0000-00-00 保存 为 “ 伪 日 期 ”。 这 在 某 些 情况 下 比 使 用 NULL 值 更 方便 ， 并 且 数 据 和 索引 占用 的 空间 更 小 。 


MySQL 以 标准 输出 格式 检索 给 定 日 期 或 时 间 类 型 的 值 ， 但 它 会 尽力 解释 你 指定 的 各 种 输入 值 格 式 。 尽 管 MySQL 在 尝试 解释 几 种 格式 的 值 时 ， 日 期 总 是 以 “年 -月 -日 ”的 顺序 (例如 ，'98-09-04') 来 处 
理 的 ， 而 不 是 以 “月 -日 -年 ”或 “日 -月 -年 ”的 顺序 (例如 ,，'09-04-98'、'04-09-98') 。 


湾 


包含 两 位 年 值 的 日 期 会 令 人 产生 困惑 ， 因 为 不 知道 世纪 。MySQL 使 用 以 下 规则 解释 两 位 年 值 的 日 期 。 


“70~99 范 围 的 年 值 均 转换 为 1970~1999。 
. 00~69 范 围 的 年 值 均 转 换 为 2000~2069。 


(1) DATETIME、DATE 和 TIMESTAMP 类 型 


当 需 要 同时 包含 日 期 和 时 间 信 息 的 值 时 ， 建 议 使 


DATETIME (日 期 时 间 组 合 ) 类 型 。MySQL 以 YYYY-MM-DD HH:MM:SS 的 格式 检索 和 显示 DATETIME 值 ， 但 允许 使 用 字符 串 或 数字 为 DATETIME 
列 分 配 值 。 支 持 的 范围 为 '1000-01-0100:00:00' 到 '9999-12-3123:59:59'。DATETIME 类 型 占 8 个 字 节 。 


当 只 需要 日 期 值 而 不 需要 时 间 部 分 时 ， 建 议 使 用 DATE (日 期 ) 类 型 。MySQL 用 'YYYY-MM-DD 格式 检索 和 显示 DATE 值 ， 但 允许 使 用 字符 串 或 数字 为 DATE 列 分 配 值 。 支 持 的 范围 是 '1000-01- 


01' 到 '9999-12-31'。DATE 类 型 占 3 个 字 节 。 


TIMESTAMP (时 间 戳 ) 列 用 于 在 进行 INSERT 或 UPDATE 操 作 时 记录 日 期 和 时 间 。TIMESTAMP 列 的 显示 格式 与 DATETIME 列 相同 。 换 句 话说 ， 显 示 宽 度 固 定 在 19 个 字符 ,并且 格 式 为 YYYY-MM-DD 
HH:MM:SS'。TIMESTAMP 的 范围 是 从 '1970-01-0100:00:01'UTC 到 '2038-01-0903:14:07'UTC。TIMESTAMP 类 型 占 4 个 字 节 。 


TIMESTAMP 的 值 以 UTC 格式 进行 保存 ， 存 储 时 会 对 当前 的 时 


控制 TIMESTAMP 列 的 初始 化 和 更 新 的 规则 如 下 。 


区 进行 转换 ， 检 索 时 再 转换 回 当 前 的 时 区 。 当 前 时 区 对 应 的 是 time_zone 系 统 变量 。 


若 将 TIMESTAMP 类 型 字段 定义 为 default current_timestamp， 那 么 插入 一 条 记录 时 ， 该 TIMESTAMP 字 段 自 动 被 赋值 为 当前 时 间 。 


若 将 TIMESTAMP 类 型 字段 定义 为 on update current_timestamp， 那 么 修改 一 条 记录 时 ， 该 TIMESTAMP 字 段 自 动 被 修改 为 当前 时 间 。 


可 以 将 这 些 类 型 联合 使 用 ， 如 default current timestamp on update current timestamp。 


可 以 给 TIMESTAMP 字 段 指定 一 个 默认 值 ， 也 可 以 在 SQL 语句 中 指定 TIMESTAMP 字 段 的 值 。 


可 以 使 用 任何 常见 格式 指定 DATETIME、DATE 和 TIMESTAMP 的 值 。 


对 于 YYYY-MM-DD HH:MM:SS' 或 YY-MM-DD HH:MM:SS 格式 的 字符 串 ， 允 许 “ 不 严格 ”语法 : 任何 标点 符号 都 可 以 


SS 


作 日 期 部 分 或 时 间 部 分 之 间 的 间隔 符 。 例 如 ，'98-12-3111:30:45'、 


'98.12.3111+30+45'、'98/12/3111*30*45' 和 '98@12@3111^30^45' 是 等 价 的 。 


对 于 'YYYY-MM-DD' 或 YY-MM-DD' 格 式 的 字符 串 ， 也 人 允许 使 F 


(2) TIME (时 间 ) 类 型 


“不 严格 的 ”语法 。 例 如 ，'98-12-31'、'98.12.31'、'98/12/31' 和 '98@12@31' 是 等 价 的 。 


该 时 间 类 型 的 范围 是 '-838:59:59' 到 '838:59:59'。MySQLIM'HH:MM:SS' 格 式 检索 和 显示 TIME 值 (或 者 对 于 大 的 小 时 值 采用 'HHH:MM:SS' 格 式 ) ， 但 允许 使 用 字符 串 或 数字 为 TIME 列 分 配 值 。TIME 类 


型 占 3 个 字 节 。 


(3) YEAR (两 位 或 四 位 格式 的 年 ) 类 型 


YEAR 类 型 表示 两 位 或 四 位 格式 的 年 。MySQL 以 YYYY 格 式 显示 YEAR 值 ， 但 允许 使 用 字符 串 或 数字 为 YEAR 列 分 配 值 。 


默认 是 四 位 格式 ， 在 四 位 格式 中 ， 人 允许 的 值 是 1901~2155 和 0000。 


在 两 位 格式 中 ， 如 果 是 两 位 字符 串 ， 那 么 范围 为 '00'~'99'。'00'~'69' 和 '70'~'99' 范 围 的 值 被 分 别 转换 为 2000~2069 和 1970~1999 范 围 的 YEAR 值 。 


如 果 是 两 位 整数 ， 范 围 为 1~99。1~69 和 70~99 范 上 


的 值 被 分 别 转换 为 2001~2069 和 1970~1999 范 围 的 YEAR 值 。 请 注意 ， 两 位 整数 范围 与 两 位 字符 串 范围 稍 有 不 同 ， 因 为 你 不 


直接 将 零 指 定 为 数字 


Fy 


并 将 它 解释 为 2000。 你 必须 将 它 指定 为 一 个 字符 串 '0 或 '00 ， 或 者 它 被 解释 为 0000。 


YEAR 类 型 占 1 个 字 节 。 


3. 字 符 


字符 


(1) CHAR 和 VARCHAR 类 型 


CHAR 与 VARCHAR 类 型 类 似 ， 但 它们 保存 和 检索 数据 的 方式 不 同 。 


CHAR 和 VARCHAR 类 型 声明 的 长 度 表示 你 想 要 保存 的 最 大 字符 数 


如 果 分 配给 CHAR 或 VARCHAR 列 的 值 超过 了 列 的 最 大 长 度 ， 则 对 值 进行 


。 例 如 ，CHAR(30) 可 以 占 


串 类 型 指 CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM 和 SET。 


CHAR 是 固定 长 度 的 字符 


， 它 的 长 


固定 为 创建 表 时 声明 的 长 


尽 | 


除 掉 ， 这 是 MySQL 服 务 器 级 别 


控制 的 ， 和 和 


VARCHAR 列 中 的 值 为 可 变 长 度 的 字符 


符 串 ， 它 需 


以 ， 如 果 想 存储 很 短 的 类 型 ， 使 


度 。 长 度 范围 


。 长度 可 以 指定 为 0 到 65535 之 间 的 
更 少 的 存储 空间 。 在 保存 VARCHAR 的 值 时 ， 只 保存 需要 的 字符 数 ， 然 后 用 1~2 个 字 节 来 存储 值 的 长 


30 个 字符 。 注 意 ， 在 CHAR(M)、VARCHAR(M) 声 明 是 


为 0 到 255 个 字符 。 当 保存 CHAR 值 时 ， 在 它们 的 右边 填充 空格 以 达到 指定 的 长 


0 存储 引擎 无 关 。CHAR 类 型 适合 存储 大 部 分 值 的 长 度 都 差不多 的 数据 ， 例 如 MD5 值 。 


值 (VARCHAR 的 最 大 有 效 长 度 


剪 以 使 其 长 度 适 合 。 如 果 被 裁剪 掉 的 字符 不 是 空格 ， 则 会 产生 一 条 警告 。 


度 。 当 检索 到 CHAR 值 时 ， 


里 ，M 是 字符 个 数 而 不 是 字 节 。 


尾部 的 空格 会 被 删 


CHAR 会 更 合适 。VARCHAR 可 选 的 一 种 场景 是 最 长 记录 的 


保存 VARCHAR 的 值 时 不 会 进行 填充 。 当 值 保存 和 检索 时 


实际 上 ， 各 存储 引擎 存 取 VARCHAR 和 CHAR 的 方法 不 尽 相 同 。 比 如 ， 内 存 引擎 使 有 


二 


尾部 的 空格 仍 会 保留 ， 这 一 点 符合 标准 SQL 


度 值 比 平均 长 度 


国定 


符 串 时 占据 的 空间 大 小 是 一 样 的 ， 但 VARCHAR(200) 会 耗费 更 大 的 内 存 空间 。 


(2) BINARY 和 VARBINARY 类 型 


BINARY 和 VARBINARY 类 似 于 
不 是 字符 长 度 。 这 说 明 它 们 没有 字符 


相对 来 说 ， 二 进 制 


对 于 “随机 ”字符 
整 型 值 。 


00 


E: 
日 


(3) BLOB 和 TEXT 类 型 


FCHAR 和 VARCHAR, 不 同 
f 集 ， 并 且 


是 ， 它 们 包含 的 是 二 进 制 字符 


而 不 是 非 二 进 制 字符 


。 也 就 是 说 ， 它 们 包含 的 是 


排序 和 比较 也 是 基于 字 节 的 二 进 制 值 进行 的 。 


字符 串 的 比较 比 字符 字符 串 的 比较 更 为 简单 有 效 。 


， 如 MD50、SHA1( 或 UUID() 生 成 的 值 会 导致 数据 非常 分 散 ， 没 有 明显 的 热点 数据 ， 还 可 能 导致 数据 库 缓 存 不 能 很 好 的 工作 。 因 


最 大 记录 长 度 和 使 用 的 字符 集 确定 。 整 体 最 大 长 度 是 65532 字 节 ) 。 相 对 于 
度 ， 所 以 如 果 是 很 短 的 值 (如 仅 一 个 字符 ) ， 那 么 耗费 的 存储 空间 比 CHAR 还 会 多 些 ， 所 
的 值 大 得 多 。 


固定 长 度 的 字 


度 的 行 ， 会 在 内 存 中 分 配 最 大 可 能 空间 给 VARCHAR 类 型 ， 所 以 CHAR(5) 和 VARCHAR(200) 在 存储 “hello” 字 


字 节 字符 


此 建议 把 MD50、UUID0 之 类 的 值 


BLOB 是 一 个 二 进 制 大 对 象 ， 可 以 容纳 可 变数 量 的 数据 。BLOB 类 型 共有 4 种 : TINYBLOB、BLOB、MEDIUMBLOB 和 LONGBLOB。BLOB 是 SMALLBLOB 的 同义词 。 


符 字符 串 ， 它 们 的 长 度 是 字 节 长 


散 列 下 ， 生 成 


TEXT 类 型 也 有 4 种 : TINYTEXT、TEXT、MEDIUMTEXT 和 LONGTEXT。 它 们 分 别 对 应 上 面 的 4 种 BLOB 类 型 ， 有 相同 的 最 大 长 度 和 存储 需求 。TEXT 是 SMALLTEXT 的 同义词 。 


BLOB, 


于 存储 二 进 制 字符 下 


| 


于 


( 


字 节 字 竺 


引擎 各 有 不 同 。 


在 大 多 数 情况 下 ， 可 以 将 BLOB 列 视 为 能 够 存储 足够 大 数 折 


“ 保存 或 检索 BLOB 和 TEXT 列 的 值 时 不 用 删除 尾部 的 空格 。 


“ 对 于 BLOB 和 TEXT 列 的 索引 ， 必 须 指 定 索引 前 缓 的 长 度 。 


" BLOB 和 TEXT 列 不 能 有 默认 值 。 


) ， 而 TEXT 列 则 被 视 为 非 二 进 制 字 符 


(字符 字符 


“ 排序 时 只 使 用 该 列 的 前 max_sort_length 个 字 节 。max_sort_length 的 默认 值 是 1024。 


BLOB 或 TEXT 对 象 的 最 大 长 度 


消息 缓存 


使 


MySQL 的 临时 表 分 为 “内 存 临 时 表 ” 和 “磁盘 临时 表 ” ， 其 中 内 存 临 时 表 使 
TEXT 类 型 ， 所 以 如 果 有 查询 使 用 了 BLOB 或 TEXT 列 且 需 


(4) ENUM 类 型 


ENUM ( 枚 举 ) 类 型 是 一 个 字符 


区 的 大 小 ， 但 必须 同时 修改 


BLOB、TEXT 等 大 字段 可 能 会 导致 严 时 


民 务 器 和 客户 端的 程序 。 


的 性 能 问题 ， 比 如 导致 产生 磁盘 临 


类 型 来 确定 ， 但 在 客户 端 和 服务 器 之 间 实 际 可 以 传递 的 最 大 数据 量 是 


时 表 。 


隐 式 使 


串 对 象 ， 其 值 通常 选 


自 一 个 允许 值 列 表 ， 该 有 


由 可 用 内 存 数 量 和 通信 缓存 


MySQL 的 MEMORY 存 储 引 擎 ， 磁 盘 临时 表 使 


临时 表 (MEMORY 存 储 引擎 ) 来 进行 排序 ， 那 么 将 不 得 不 使 


表 是 在 创建 表 时 被 定义 的 。 


慎重 使 


对 于 ENUM 类 型 ， 需 
移 到 其 他 数据 库 ， 如 


TINIINT 类 型 代 蔡 ENUM 类 型 ， 可 以 靠 应 


， 如 果 候 选 值 的 集合 可 能 发 生 改 变 ， 


那么 使 


E 意 。 对 于 一 些 


届 的 VARBINARY 列 。 同 样 ， 也 可 以 将 TEXT 列 视 为 VARCHAR 列 。 但 是 ，BLOB 和 TEXT 在 以 下 几 个 方面 不 同 


MySQL 的 MyISAM 存 储 引 擎 。 由 了 
磁盘 临时 表 ， 磁 盘 比 内 存 慢 得 多 ， 这 会 导致 很 严重 的 性 能 问题 。 


) 的 存储 方式 ， 它 是 有 字符 集 和 排序 规则 的 ， 这 两 种 类 型 都 用 于 存储 大 量 数据 ， 


体 的 存储 方式 按 存储 


FVARBINARY 和 VARCHAR。 


区 的 大 小 来 确定 的 。 可 以 通过 更 改 max_allowed_packet 变 量 的 值 更 改 


FMEMORY 存 储 引 丈 不 支持 BLOB 和 


其 


定数 量 的 候选 值 的 场景 ， 可 以 使 


他 更 通 


的 方案 ， 这 样 也 能 更 方便 地 迁 


它 就 不 见得 是 一 个 好 


间 大 小 一 般 已 经 不 再 是 一 个 问题 


这 里 省 略 了 对 SET 类 型 的 介绍 ， 感 兴趣 的 读者 可 


4 数据 类 型 存储 需求 


息 


’ 


自然 、 直 观 往往 是 更 值得 考虑 的 


图 


自行 查阅 相关 图 书 。 


数值 类 型 的 存储 需求 见 表 3-11。 


因素 。 


表 3-11 


常用 数值 类 型 的 存储 需求 


属性 有 固 


程序 去 维护 字符 串 值 和 TINIINT 的 映射 关系 ， 或 者 增加 一 个 表 来 存储 映射 关系 ， 或 者 就 直接 存储 更 “ 


”的 字符 串 值 。 在 现实 世界 中 ， 空 


数据 类 型 存储 需求 


TINYINT 1 个 字 节 
SMALLINT 2 不 字 节 

MEDIUMINT 3 个 字 节 

INT、INTEGER 4 个 字 节 

BIGINT 8 个 字 节 

FLOAT(p) 如 果 0 科 pb 夸 24， 则 为 4 个 字 节 ,如 果 25 科 p 科 53， 则 为 8 个 字 节 
FLOAT 4 字 节 


日 期 和 和 时间 类 型 的 存储 需求 见 表 3-12。 


表 3-12 日 期 和 时 间 类 型 的 存储 需求 


列 类 型 
DATE | DATETIME 8 守节 1 字 节 
TIME 3 字 节 TIMESTAMP 4 字 节 


字符 串 类 型 的 存储 需求 见 表 3-13， 其 中 的 “L” 代表 字符 串 的 字 节 长 度 。 
表 3-13 字符 串 类 型 的 存储 需求 
列 类 型 存储 需求 
CHAR(M) Mxw 字 节 ，0 三 M 三 255，w 是 字符 集 字 符 的 最 大 长 度 ，MM 是 字符 的 个 数 
BINARY(M) M 字 节 , 0 三 M 盛 255。 这 里 MM 指 的 是 字 节 


如 果 列 值 长 度 为 0 一 255 个 字 节 ， 那 么 需要 工 + 1 字 节 。 如 果 列 值 长 度 超过 
VARCHAR(M). VARBINARY(M) PE DE De EN 


( 续 ) 
列 类 型 存储 需求 

TINYBLOB、 TINYTEXT 0 Es A 

BLOB、 TEXT 玉生 字 节 <2 

MEDIUMBLOB、MEDIUMTEXT| 工 +3 字 节 ， 工 <22” 

LONGBLOB 、LONGTEXT LKL+4 字 节 , L <2” 

ENUM('valuel','value2',...) 1 或 2 个 字 节 ， 取 决 于 枚 举 值 的 个 数 (最 多 65 535 个 值 ) 
SETOvaluel'value2'..) 1、2、3、4 或 8 个 字 节 ， 取 决 于 set 成 员 的 数目 (最 多 64 个 成 员 ) 


想 计 算 用 于 保存 具体 CHAR、VARCHAR 或 TEXT 列 值 的 字 节 数 ， 需 要 考虑 该 列 使 用 的 字符 集 。 例 如 utf8 字 符 集 ， 存 储 汉字 是 3 个 字 节 ， 存 储 英 文字 符 是 1 个 字 节 。 


以 上 VARCHAR、VARBINARY、BLOB 和 TEXT 类 型 都 是 可 变 长 度 的 类 型 ， 它 们 的 存储 需求 取决 于 如 下 3 个 因素 。 


. 列 值 的 实际 长 度 。 
. 列 的 最 大 可 能 长 度 ， 如 行 长 度 有 65536 个 字 节 的 限制 。 
. 字符 集 。 


例如 ， 一 个 VARCHAR(255) 列 可 以 容纳 一 个 最 大 长 度 为 255 个 字符 的 字符 串 。 如 果 该 列 使 用 latin1 字 符 集 (每 个 字符 占 一 个 字 节 ) ， 那 么 所 需 的 实际 存储 为 字符 串 字 节 的 长 度 (L) ， 再 加 上 一 个 字 节 以 
记录 字符 串 的 长 度 。 对 于 字符 串 'ABCD'，L 等 于 4， 存 储 需求 是 5 个 字 节 。 如 果 该 列 使 用 UCS2 双 字 节 字符 集 ， 那 么 存储 要 求 为 10 个 字 节 : 'ABCD 的 长 度 为 8 个 字 节 ， 再 需要 2 个 字 节 来 存储 长 度 ， 因 为 它 的 最 
大 长 度 大 于 255 个 字 节 (此 时 VARCHAR(255) 最 多 为 510 个 字 节 ) 。 


可 以 存储 在 VARCHAR 或 VARBINARY 列 的 字 节 还 受到 最 大 行 长 (65535 字 节 ) 的 限制 。 很 显然 ， 对 于 VARCHAR 列 ， 如 果 存储 多 字 节 字符 ， 实 际 能 够 存储 的 字符 会 更 少 。 例 如 ，utf8 字 符 集 每 个 字符 最 
多 三 个 字 节 ， 所 以 使 用 utf8 字 符 集 的 VARCHAR 列 可 以 被 声明 为 最 多 21844 个 字符 。 


5. 选 择 合适 的 数据 类 型 
MySQL 支 持 许多 数据 类 型 ， 选 择 合适 的 数据 类 型 可 以 获得 更 好 的 性 能 ， 从 而 更 节省 空间 。 


以 下 是 一 些 指导 原则 。 


(1) 各 表 使 用 一 致 的 数据 类 型 


字段 在 每 个 表 中 都 应 该 使 用 一 样 的 数据 类 型 、 长 度 ， 因 为 以 后 可 能 需要 进行 JOIN (连接 ) 操作 ， 这 样 做 是 为 了 避免 无 谓 的 转换 或 可 能 出 现 不 期 望 的 结果 。 我 们 不 仅 要 考虑 数据 类 型 是 如 何 存储 的 ， 也 要 


清楚 数据 类 型 是 如 何 计算 和 比较 的 。 


(2) 小 往往 更 好 


选择 更 短 的 数据 类 型 。 更 短 的 类 型 意味 着 更 少 的 磁盘 空间 、 更 少 的 内 存 空 间 、 更 少 的 CPU 处 理 时 间 。 例 如 ， 如 果 列 值 的 范围 为 从 1~99999， 若 使 用 整数 ， 则 MEDIUMINT UNSIGNED 是 比较 好 的 数据 
类 型 。 在 所 有 可 以 表示 该 列 值 的 类 型 中 ， 该 类 型 使 用 的 存储 最 少 。 


(3) 简单 类 型 更 好 


简单 的 数据 类 型 能 够 进行 更 快 的 处 理 。 例 如 ， 整 型 值 比 字符 类 型 运算 得 更 快 ， 因 为 字符 的 字符 集 和 排序 规则 使 字符 的 比较 运算 变 得 更 为 复杂 。 生 产 环境 中 经 常会 看 到 用 字符 或 整 型 来 存储 时 间 ， 为 了 使 


数据 更 友好 、 自 然 ， 建 议 还 是 使 用 MySQL 内 建 的 类 型 来 存储 日 志 时 间 会 更 好 。 使 用 无 符号 整 型 来 存储 IP 地 址 (IP 本质 上 是 一 个 无 符号 的 整 型 ， 点 分 的 形式 只 是 为 了 方便 我 们 阅读 ) 也 是 常用 的 好 办 法 ， 可 | 
INET_ ATON(0 和 INET_NTOA 执 行 转换 。 


(4) 尽 可 能 避免 NULL 值 


应 尽量 显 式 定义 “not NULL”， 如 果 查 询 涉及 的 是 NULL 值 的 字段 ，MySQL 会 很 难 去 优化 查询 。 可 使 用 0、 空 字符 串 或 特殊 的 值 来 代替 NULL 存 储 。 当 然 ， 也 不 要 去 刻意 追求 “not NULL”， 因 为 更 改 
NULL 字 段 为 “not NULL”， 对 性 能 的 提升 可 能 没什么 太 大 的 作用 ， 让 设计 更 自然 、 更 具 可 理解 性 应 该 更 值得 看 重 。 熟 悉 Oracle 数 据 库 的 读者 需要 留意 ，MySQL 会 索引 NULL 值 ， 而 Oracle 则 不 会 。 


3.3.5 ”函数 


以 下 介绍 常用 的 函数 和 操作 符 。 


1 数值 函数 


(1) 算数 操作 符 


可 使 用 常见 的 算数 操作 符 。 例 如 ‘+”、 '- 、 “ 、 “/” 、DIV (整除 ) 。 


(2) 数学 函数 

: ABSCO : 又 的 绝对 值 。 

" CEIL(X): 返回 不 小 于 X 的 最 小 整数 值 。 

“ FLOORGCO: 返回 不 大 于 X 的 最 大 整数 值 。 

“ CRC32(X) : 计算 循环 宛 余 码 校 验 值 并 返回 一 个 32 比 特 无 符号 值 。 


“ RANDO、RAND(N): 返回 一 个 随机 浮 点 值 Y"， 范 围 在 0 到 1 之 间 ( 即 其 范围 为 0<v<1.0) 。 若 已 指定 一 个 整数 参数 N， 则 它 被 用 作 种 子 值 ， 用 来 产生 重复 序列 。 


注意 不 要 使 用 此 函数 做 随机 排序 ， 如 下 的 语句 形式 效率 会 很 差 ， 仅 适合 很 小 的 表 。 


SELECT * FROM table name ORDER BY RAND() LIMIT 1; 
. SIGNGCO: 返回 X 的 符号 。 
" TRUNCATE(X,D): 返回 被 使 去 至 小 数 点 后 DD 位 的 数字 义 。 若 DD 的 值 为 0， 则 结果 不 带 有 小 数 点 或 不 带 有 小 数 部 分 。 


“ ROUND(X)、ROUND(X,D): 返回 参数 X， 其 值 接近 于 最 近似 的 整数 。 在 有 两 个 参数 的 情况 下 ， 返 回 XX， 其 值 保留 到 小 数 点 后 DD 位 ， 而 第 DD 位 的 保留 方式 为 四 使 五 入 。 若 要 保留 X 值 到 小 数 点 左边 的 DD 
位 ， 可 将 D 设 为 负 值 ， 例如 ，ROUND (123.45，-1) 的 结果 是 120，ROUND (167.8，-2) 的 结果 是 200。 


2. 字 符 类 型 处 理 函 数 


“ CHAR_LENGTH(stD) : 返回 值 为 字符 串 str 的 长 度 ， 长 度 的 单位 为 字符 。 一 个 多 字 节 字符 算 作 一 个 单 宇 符 。 对 于 一 个 包含 5 个 二 字 节 的 字符 集 ， LENGTHO 的 返回 值 为 10， 而 CHAR_LENGTHO 的 返回 值 
为 5。 


“ LENGTH(st?) : 返回 值 为 字符 串 str 的 长 度 ， 单 位 为 字 节 。 


* CONCAT(strl ,str2,http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/..….): 返回 结果 为 连接 参数 产生 的 字符 串 。 如 下 查询 将 拼接 "My'、'S'、 
'QL'3 个 字符 串 。 


mysql> SELECT CONCAT('My', 'S', 'QL'); 
-> 'MySQL!' 


:LEFT(strlen): 从 字符 串 str 开 始 ， 返 回 最 左 len 个 字符 。 
" RIGHT(stt,len): 从 字符 串 str 开 始 ， 返 回 最 右 len 个 字符 。 


“ SUBSTRING(str,pos)、SUBSTRING(str,pos,len): 不 带 有 len 参 数 的 格式 是 从 字符 串 str 返 回 一 个 子 字符 串 ， 起 始 于 位 置 pos。 带 有 len 参 数 的 格式 是 从 字符 串 stt 返 回 一 个 长 度 同 len 字 符 相同 的 子 字符 串 ， 起 
始 于 位 置 pos。 


如 下 查询 将 返回 字符 串 Quadratically 第 5 个 字符 之 后 的 所 有 字符 。 


mysql> SELECT SUBSTRING('Quadratically',5); 
-> 'ratically' 


如 下 查询 将 返回 字符 串 Quadratically 第 5 个 字符 之 后 的 6 个 字符 。 


mysql> SELECT SUBSTRING('Quadratically',5,6); 
人 


“ LOWER(st) : 返回 字符 囊 str 转 化 为 小 写字 母 的 字符 。 


. UPPERGstb ;返回 字符 事 str 转 化 为 大 写字 母 的 字符 。 


3. 日 期 和 时 间 函 数 


“NOW0: 返回 当前 日 期 和 时 间 的 值 ， 其 格式 为 YYYY-MM-DD HH:MM:SS' 或 YYYYMMDDHHMMSS。 

" CURTIMEO: 将 当前 时 间 以 'HH:MM:SS' 或 HHMMSS 的 格式 返回 。 

* CURDATE0: 将 当前 日 期 按照 YYYY-MM-DD' 或 YYYYMMDD 格 式 的 值 返 回 。 

- DATEDIFF(exprl,expt2): 是 返回 开始 日 期 exprl 与 结束 日 期 expt2 之 间 相 差 的 天 数 ， 计 算 中 只 用 到 这 些 值 的 日 期 部 分 。 返 回 值 为 正 数 或 负数 。 


“ DATE_ADD(date,INTERVAL expr type)、DATE_SUB(date,INTERVAL expr typej: 这 些 函 数 执行 日 期 运算 。date 是 一 个 DATETIME 或 DATE 值 ， 用 来 指定 起 始 时 间 。exprt 是 一 个 表达 式 ， 用 来 指定 从 起 始 
日 期 添加 或 减 去 的 时 间 间 隔 值 。type 为 关键 词 ， 它 指示 了 表达 式 被 解释 的 方式 。type 常 用 的 值 有 SECOND、MINUTE、HOUR、DAY、WEEK、MONTH、YEAR。 示 例 代码 如 下 所 示 。 


mysql> SELECT DATE ADD('1997-12-31 23:59:59',INTERVAL 1 SECOND); 
-> !1598-01-01 00:00:00' 

mysql> SELECT DATE ADD('1997-12-31 23:59:59',INTERVAL 1 DAY); 
-> !1598-01-01 23:59:59' 


“ DATE_FORMAT(date,formab : 下 面 的 代码 会 根据 format 字 符 串 安排 date 值 的 格式 。 常 用 的 日 期 格式 YYYY-MM-DD HH:MM:SS'， 对 应 的 format 为 '"%Y-%m-%d%H:%i:%S'， 示 例 代 码 如 下 所 示 。 


mysql>SELECT DATE FORMAT('1997-10-04 22:23:00', '% 
"22823500" 


. STR_TO_DATE(str,format): 是 DATE_FORMATO 函 数 的 倒转 。 它 将 获取 一 个 字符 囊 str 和 一 个 格式 字符 囊 format。 


若 格式 字符 串 包含 日 期 和 时 间 部 分 ， 则 STR_TO_DATE(0 返 回 一 个 DATETIME 值 ， 若 该 字符 串 只 包含 日 期 部 分 或 只 包含 时 间 部 分 ， 则 返回 一 个 DATE 或 TIME 值 。 示 例 代码 如 下 所 示 。 


mysql> SELECT STR TO DATE('04/31/2004', '%m/%d/%Y'); 
2004-04-31 


3.3.6 ”操作 符 及 优先 级 


运算 符 的 优先 级 决定 了 不 同 的 运算 符 在 表达 式 中 计算 的 先后 顺序 。 一 般 情 况 下 ， 级 别 高 的 运算 符 先进 行 计算 ， 如 果 级 别 相同 ，MySQL 则 会 按照 表达 式 的 顺序 从 左 到 右 依 次 计算 。 以 下 是 按照 从 低 到 高 的 
优先 级 列 出 的 各 种 运算 操作 符 。 


. 11、OR、XOR 
. && AND 

.NOT 

. BETWEEN、 CASE、 WHEN, THEN, ELSE 


“=、<=>、>=、>、<=、<、<>,、 !=、 IS、LIKE、REGEXP、 IN 


ee 


:xx、/ (DIV) 、% (MOD) 


“人 (〈 按 位 异 或 ) 


-( 负 号 ) 、~ 〈 按 位 取 反 ) 


如 果 不 能 确定 优先 级 ， 可 以 使 用 圆 括号 () 来 改变 优先 级 ， 并 且 这 样 会 使 计算 过 程 更 加 清晰 。 比 如 ， 如 下 的 查询 ， 我 们 会 先 计算 最 里 层 括 号 里 面 的 表达 式 (2+ 3)， 然 后 计算 外 层 的 表达 式 。 这 点 类 似 于 我 们 
学 过 的 算术 运算 。 


select 1*(3-2)*(3+3+3* (2+3)); 


3.3.7 MySQL 示例 employees 数 据 库 


MySQL 提 供 了 一 个 练习 用 的 示范 数据 库 employees。 可 以 从 Employees DB on Launchpad (https://launchpad.net/test-db/ 中 下 载 ) ， 在 页 面 右 侧 选择 “Latest version is 1.0.6”， 建议 下 


载 “employees db-full-1.0.6”。 


employees 示 例 数据 库 一 共有 6 张 表 ， 约 400 万 条 记录 ， 包 含 160MB 的 数据 。 


首先 是 安装 数据 库 ， 安 装 命令 如 下 。 


cd tmp 
wget 


https://launchpad.net/test-db/employees-db-1/1.0.6/+download/employees db-full-1.0.6.tar.bz2 
tar jxf employees db-full-1.0.6.tar.bz2 
cd employees db 


默认 导入 数据 是 InnoDB 引 警 ， 如 果 需 要 指定 其 他 引擎 ， 可 以 修改 employees.sdq| 文 件 ， 取 消 注释 相应 的 引擎 ， 命 令 如 下 。 


set storage engine = InnoDB; 
-- set storage engine = MyISAM; 
-- set storage engine = Falcon; 
-- set storage engine = PBXT; 
-- set storage engine = Maria; 


使 用 MySQL 命 令 将 数据 导入 到 实例 中 。 


mysql -t < employees.sql 


通过 以 下 命令 验证 范例 数据 导入 是 否 正确 。 


time mysql -t < test employees sha.sql 


实体 关系 图 3-3 描 述 了 employees 示 例 数据 库 各 表 的 结构 和 它们 之 间 的 关系 。 


图 3-3 中 的 各 表 通 过 一 些 字段 相互 关联 ， 如 dept_emp 表 中 存储 了 部 门 职员 的 信息 ， 通 过 dept_emp.emp_no 可 以 到 employees 表 中 去 查询 职员 的 记录 。 各 表 之 间 的 关系 是 通过 连 线 和 特殊 符号 标明 的 ， 
钥匙 标记 表示 这 是 主键 ， 关 系 中 属于 “多 ”的 这 一 边 用 一 个 类 似 鸟 爪 的 图 形 来 表示 ， 如 dept_ emp 表 ， 主 键 是 联合 主键 (emp_no,dept_no) ，employees 和 dept_emp 表 就 是 一 对 多 的 关系 ， 由 于 职员 可 能 
在 不 同时 期 属于 不 同 的 部 门 ， 那 么 amployees 表 中 一 条 职员 的 记录 可 能 在 dept emp 表 中 存在 多 条 对 应 记录 。 读 者 可 自行 下 载 此 数据 库 ， 验 证 各 表 的 数据 和 彼此 之 间 的 联系 。 
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dept_no CHAR(4) from date DATE 
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Slast name VARCHAR(16) 
9gender ENUM('M', 'F') 
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emp_no INT 
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from date DATE 
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Indexes > 
图 3-3 ”employees 示 例 数据 库 实体 关系 图 
3.38 SQL 语法 


结构 化 查询 语言 (Structured Query Language，SQL) 是 一 种 高 级 编程 语言 ， 是 数据 库 中 的 标准 数据 查询 语言 ， 这 种 语言 是 描述 性 的 ， 很 容易 上 手 ， 你 不 需要 了 解数 据 是 如 何 存储 的 也 能 编写 出 语句 
查询 和 修改 数据 ， 这 项 技能 并 非 IT 人 士 的 专 有 领域 ， 其 他 非 计算 机 行业 的 人 ， 虽 然 不 会 编程 ， 但 也 可 以 根据 自己 的 业务 需求 ， 用 SQL 在 公司 的 数据 平台 上 查询 数据 。 所 以 ， 我 们 设计 的 库 表 ， 如 果 有 其 他 业 
务 部 门 要 使 用 ， 而 且 是 通过 SQL 的 方式 进行 查询 ， 那 么 表 名 、 列 名 就 需要 考虑 下 自然 性 和 易 用 性 。 


美国 国家 标准 学 会 (ANSI) 对 SQL 进行 规范 后 ， 将 其 作为 关系 式 数据 库 管理 系统 的 标准 语言 ， 而 后 在 国际 标准 组 织 的 支持 下 成 为 了 国际 标准 。 不 过 各 种 通行 的 数据 库 系统 在 其 实践 过 程 中 都 对 SQL 规范 
作 了 某 些 改编 和 扩充 。 所 以 ， 实 际 上 不 同 数据 库 系 统 之 间 的 SQL 并 不 能 完全 相互 通用 。 一 般 情况 下 ， 扩 展 语法 后 功能 虽 有 所 增强 ， 但 可 能 会 导致 移植 性 变 差 ， 而 且 对 于 整个 系统 的 吞吐 率 、 性 能 可 能 也 不 会 
有 明显 的 改善 。 因 此 本 书 不 会 对 MySQL 的 扩展 语法 进行 详细 介绍 。 下 面 使 用 自 带 的 MySQL 命 令 行 工具 来 演示 示例 。 


1.SQL 常 见 操作 


使 用 如 下 命令 可 查看 MySQL 支 持 的 选项 。 


shell> mysql -help 


使 用 如 下 命令 可 连接 MySQL Server。 


shell> mysql -h host ~-P port -~u user -Pp 
Enter password: **w*ww#w* 


连接 登录 成 功 后 ， 可 以 按 Ctrl+D 退 出 ,或 者 输入 QUIT 退 出 ,命令 如 下 。 


mysql> QUIT 
Bye 


下 面 来 运行 一 个 简单 的 查询 ， 通 过 以 下 语句 可 查询 当前 MySQL Server 的 版 本 和 当前 日 期 。 


mysql> SELECT VERSION (), CURRENT DATE; 


二 -一 -一 一- 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| VERSION () | CURRENT _ DATE | 
十 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
上 | 坊 ; 亲 。 汪 55 | 2013-12-29 1 
二 -一 -一 一- 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


1 row in set (0.00 sec) 


使 用 如 下 命令 可 创建 数据 库 employees。 


mysql> CREATE DATABASE employees; 


显示 数据 库 ， 切 换 到 test 数 据 库 时 可 使 用 如 下 命令 。 


mysql> SHOW DATABASES; 
mysql> USE test 


使 用 如 下 命令 可 显示 当前 的 数据 库 。 


SELECT DATABASE (); 


使 用 如 下 命令 可 显示 数据 库 下 的 表 。 


mysql> SHOW TABLES 


2 数据 定义 语句 (DDL) 
以 下 介绍 常用 的 DDL 语 句 。 
(1) 创建 和 删除 表 


可 使 用 CREATE TABLE 语 句 创建 表 。 


CREATE TABLE employees 2 ( 
emp_no int (11) NOT NULL, 
birth date date NOT NULL, 
first name varchar (14) NOT NULL, 
last name Varchar (16) NOT NULL, 
gender enum('M', 'F') NOT NULL, 
hire date date NOT NULL, 
primary key (emp no) 

) engine=innodb default charset=latinl 


可 使 用 DESC 语 句 验证 创建 的 表 结构 。 


mysql> DESC employees 2 


使 用 DROP TABLE 语 句 删除 表 。 


DROP TABLE employees 2; 


(2) 使 用 ALTER TABLE 语 句 修改 表 结 构 


首先 创建 表 t1。 


mysql> CREATE TABLE tl (a INTEGER,b CHAR(10)); 


把 表 t1 重 新 命名 为 t2。 


mysql> ALTER TABLE tl RENAME t2; 


把 列 a 从 INTERGER 类 型 更 改 为 TINYINT NOT NULL (名 称 保持 不 变 ) ， 并 把 列 b 从 CHAR(10) 更 改 为 CHAR(20)， 同 时 把 列 b 重 新 命名 为 列 c。 


mysql> ALTER TABLE 七 2 MODIFY a TINYINT NOT NULL, CHANGE b c¢ CHAR(20); 


添加 一 个 新 的 TIMESTAMP 列 ， 名 称 为 d。 


mysql> ALTER TABLE t2 ADD d TIMESTAMP; 


在 列 d 和 列 a 中 添加 索引 。 


mysql> ALTER TABLE t2 ADD INDEX (d), ADD INDEX (a); 


删除 列 c。 


mysql> ALTER TABLE t2 DROP COLUMN c; 


添加 一 个 新 的 AUTO_INCREMENT 整 数列 ， 名 称 为 c。 


mysql> ALTER TABLE t2 ADD ¢ INT UNSIGNED NOT NULL AUTO INCREMENT, 
ADD PRIMARY KEY (c); 


(3) 使 用 CREATE INDEX 语 句 创建 索引 


在 表 lookup 的 列 id 上 创建 索引 。 


CREATE INDEX id index ON lookup (iqd); 


在 customer 表 的 name 列 上 创建 一 个 索引 ， 索 引 使 用 name 列 的 前 10 个 字符 。 


CREATE INDEX part of name ON customer (name (10) ) 7 


在 tbl_name 表 的 a、b、c 列 上 创建 一 个 复合 索引 。 


CREATE INDEX idx ab _c ON tbl name(a,b,c); 


(4) 使 用 DROP INDEX 语 句 删除 索引 


删除 表 tbl_name 上 的 index_name 索 引 时 使 用 如 下 命令 。 


DROP INDEX index name ON tbl name; 


(5) 修改 字符 集 和 排序 规则 


可 使 用 如 下 命令 更 改 排序 字符 集 。 


ALTER TABLE test.tt1 CHANGE v2 v2 VARCHAR(10) CHARACTER SET utf8 COLLATE utf8 general ci; 


可 使 用 如 下 命令 更 改 排序 规则 。 


ALTER TABLE table name CHANGE col a col a VARCHAR(50) CHARACTER SET latinl COLLATE latinl bin 


3 数据 操作 语句 (DMIL) 


以 下 是 一 些 查询 语句 常用 的 语法 和 示例 。 需 要 留意 的 是 ， 我 们 日 常 所 说 的 查询 语句 ， 不 仅 包 括 SELECT 查 询 语句 ， 也 包括 INSERT、UPDATE、DELETE 等 修改 数据 的 语句 。 在 创建 表 之 后 ， 就 可 以 导入 数 
据 了 ， 导 入 数据 的 方式 有 二 : 或 采用 LOAD DATA 语 句 ， 或 采用 INSERT 语 句 。 


以 下 主要 介绍 INSERT、SELECT、UPDATE、DELETE 语 句 ，LOAD DATA 语 句 在 以 后 的 章节 中 会 有 介绍 。 
(1) INSERT 语 句 


语法 如 下 所 示 。 


INSERT INTO table name (columnl, column2http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/..http://www.hzcourse.com/resour 
VALUES (valuel, value2http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...); 


具体 示例 如 下 。 


INSERT INTO employees.employees (emp no, birth date, first name, last name, gender, hire date) VALUES ("111111', '1976-11-11', 'Gary', 'Chen', 'M', '1998-08-20"'); 


MySQL 支 持 用 一 条 INSERT 语 句 插入 多 条 记录 ， 这 样 可 以 加 快 数据 的 导入 ， 比 如 下 面 的 示例 。 


INSERT INTO employees.employees 

(emp no, birth date, first name, last name, gender, hire date) 
VALUES - 
(TTL12: L977-11; buat, "chen', My ‘2000-02-027), 
('111113:; 1988=12=02'; "feng'y ‘Yu'sy "M's "2013-12-20'), 
("111114'; 1993-02-01', "yong', "chen',; MI '2010-10-01'); 


(2) 修改 数据 (UPDATE) 


语法 如 下 所 示 。 


UPDATE table name SET column_namel = valuel,column_name2 = value2,column name3 = value3 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/1 
[WHERE conditions]; 


以 下 命令 可 将 员工 编号 为 10001 的 员工 姓名 修改 为 gary wang。 


UPDATE employees set first name='gary',last name='wang' where emp no=10001; 


(3) 删除 (DELETE) 


语法 如 下 所 示 。 


DELETE FROM table name [WHERE conditions]; 


以 下 命令 可 删除 员工 编号 为 1000000 的 员工 记录 。 


DELETE from employees WHERE emp_no = 1000000; 


(4) SELECT 语句 


语法 如 下 所 示 。 


SELECT column_names FROM table name [WHERE http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...conditions]; 


可 使 用 如 下 命令 查询 表 employees 的 所 有 数据 。 


SELECT * FROM employees; 


可 使 用 如 下 命令 查询 表 employees 的 emp_no、birth_date、first_name、last_name 这 几 个 特定 列 的 数据 。 


SELECT emp no,birth date,first name,last name FROM employees; 


查询 employees 表 中 出 生日 期 晚 于 '1960-01-01' 的 员工 ， 使 用 WHERE 子 句 ， 加 上 比较 操作 符 “>” 即 可 ， 命 令 如 下 。 


SELECT emp no,birth date,first name,last name FROM employees WHERE birth date > '1960-01-01'; 


可 使 用 如 下 命令 查询 employees 表 中 出 生日 期 早 于 '1960-01-01' 的 员工 。 


SELECT emp no,birth date,first name,last name FROM employees WHERE birth date < '1960-01-01'; 


可 使 用 如 下 命令 查询 employees 表 中 first_name 等 于 Divier 的 员工 。 


SELECT * FROM employees WHERE first name='Divier'; 


SELECT 查 询 是 需要 我 们 重点 掌握 的 ， 下 文 将 详细 讨论 SELECT 查 询 。 


(1) SQL 模式 匹配 


SQL 有 两 个 通配符 ，“-” 匹 配 任意 单个 字符 ，“%” 匹配 任意 多 个 字符 (包括 0 个 字符 ) 。 


模式 匹配 默认 是 区 分 大 小 写 的 ， 它 一 般 使 用 LIKE 或 NOT LIKE 这 些 比较 操作 符 ， 比 如 ， 要 查询 employees 表 中 first_name 列 以 字母 D 开 始 的 员工 记录 ， 可 使 用 如 下 命令 。 


SELECT * FROM employees WHERE first name LIKE 'D%'; 


查询 employees 表 中 first_name 列 以 Ang 开 头 ， 一 共 5 个 字符 ，last_name 以 Con 开 头 ， 一 共 5 个 字符 的 记录 时 可 使 用 如 下 命令 。 


mysql> SELECT emp no,first name,last name,birth date FROM employees WHERE first name LIKE 'Ang ，'， and last name LIKE "Con "7 
十 


+ i 寺 = 一 一 一 -一 -一 -一 -一 -一 二 一 一 -一 -一 -一 -一 -一 
| emp_no | first name | last_name | birth date | 
二 一- 一 一 一 = 一 一 Ti i 和 站 
| 485400 | Angel | Conry | .14963-12-22 | 
| 492878 | Angus | Conia | 1956-02-14 | 
十- 一 -一 -一 ~ 一 -一 -~ 和 i 十 -一 -一 = 一 -= 一 -一 -~ 下 


2 rows in set (0.14 sec) 


(2) 逻辑 操作 符 与 或 非 (AND、OR、NOT) 


可 以 用 逻辑 操作 符 组 合成 多 个 筛选 条 件 ， 示 例如 下 。 


选择 employees 表 first_name 列 等 于 Parto， 而 且 last_name 列 等 于 Alpay 的 记录 。 


SELECT emp no,birth date,first name,last name,gender,hire date FROM employees WHERE first name="'Parto' AND last name='Alpay'; 


选择 employees 表 中 '1995-01-31' 或 1996-11-21' 入 职 的 员工 。 


SELECT emp no,birth date,first name,last name,gender,hire date FROM employees WHERE hire date="'1995-01-31' OR hire date='1996-11-21'; 


选择 employees 表 中 last_name 列 不 是 以 字母 A 开头 的 所 有 记录 。 


SELECT * FROM employees WHERE last name NOT LIKE 'A%'; 


(3) 范围 操作 符 IN 和 BETWEEN 


选择 employees 表 中 分 别 在 '1964-06-01'、'1964-06-02' 和 '1964-06-04' 这 3 天 出 生 的 员工 时 可 使 用 如 下 命令 。 


SELECT * FROM employees WHERE birth date IN ('1964-06-01','1964-06-02','1964-06-04"); 


选择 employees 表 中 在 '1964-06-01' 至 '1964-06-04' 期 间 出 生 的 员工 时 可 使 用 如 下 命令 。 


SELECT * FROM employees WHERE birth date BETWEEN '1964-06-01' AND '1964-06-04"; 


(4) 限制 获取 记录 数 (使 用 LIMIT 子 句 ) 


只 获取 employees 表 中 的 5 条 记录 ( 没 顺序 ) 时 可 使 用 如 下 命令 。 


SELECT * FROM employees LIMIT 5; 


(5) 排序 (ORDER BY) 


查询 按 出 生日 期 排序 的 最 老 的 10 名 员工 时 可 使 用 如 下 命令 。 


SELECT * FROM employees ORDER BY birth date ASC LIMIT 10; 


查询 按 出 生日 期 排序 第 100 至 109 名 的 员工 时 可 使 用 如 下 命令 。 


SELECT * FROM employees ORDER BY birth date ASC LIMIT 100,10; 


(6) 数据 计算 


MySQL 提 供 了 一 些 计算 函数 ， 下 面 给 出 了 计算 日 期 的 示例 ， 后 续 章 节 会 专门 叙述 此 类 常用 的 函数 。 


以 下 命令 将 计算 employees 表 中 员工 的 年 龄 ， 并 且 按 first name、last_name 排 序 ， 返 回 记 录 数 限制 在 10 条 。 


SELECT 
emp_no, 
first name, 
last name, 
birth gate, 
curdate(), 
timestampdiff (year, 
birth date, 
curdate()) as age 
FROM 
employees 
ORDER BY first name , last name 
LIMIT 10; 


(7) 使 用 DISTINCT 获 取 不 重复 的 唯一 值 


以 下 命令 将 查询 employees 雇 员 表 里 唯一 的 first_name 值 。 


SELECT DISTINCT first name FROM employees ; 


如 果 以 上 语句 没有 关键 字 DISTINCT， 那 么 返回 的 记录 里 first_name 会 有 许多 重复 值 。 


(8) 聚集 函数 COUNT、MIN、MAX、AVG、SUM 


查询 表 employees 的 总 记录 数 时 可 使 用 如 下 命令 。 


SELECT COUNT(*) FROM employees; 


查询 表 employees 的 最 小 员工 号 时 可 使 用 如 下 命令 。 


SELECT MIN (emp_no) FROM employees; 


查询 表 employees 的 最 大 员工 号 时 可 使 用 如 下 命令 。 


SELECT MAX (emp_no) FROM employees; 


查询 雇员 的 平均 薪水 时 可 使 用 如 下 命令 。 


SELECT RAVG (salary) FROM salaries WHERE to date="'9999-01-01' ; 


salaries 表 存储 了 所 有 员工 在 不 同时 期 的 薪水 ，where to_date='9999-01-01' 可 用 于 筛选 出 员工 目前 的 薪水 。 


查询 雇员 薪水 总 额 时 可 使 用 如 下 命令 。 


SELECT SUM(salary) FROM salaries WHERE to date="'9999-01-01' ; 


以 下 查询 将 统计 '1986-06-26' 和 '1985-11-21' 分 别 有 多 少 人 入 职 。 


SELECT SUM(hire date="'1986-06-26') AS sum 1986 06 26,SUM(hire date="'1985-11-21') AS sum 1985 11 21 FROM employees; 


查询 语句 里 的 hire_date='1986-06-26 是 一 个 计算 表达 式 ， 满 足 条 件 时 为 1， 不 满足 条 件 时 为 0。sum 对 表达 式 返 回 的 值 进行 求 和 ， 这 样 就 实现 了 统计 。 当 然 这 种 写法 不 常见 ， 也 不 推荐 使 用 


(9) 分 组 统计 GROUP BY 子 名 


一 般 将 GROUP BY 语句 和 聚集 函数 一 起 使 用 ， 从 而 实现 分 组 统计 。 


查询 employees 表 ， 按 照 first_name 分 组 ， 并 根据 first_name 出 现 的 次 数 按 降序 排序 。 


SELECT first name,COUNT(*) cnt FROM employees GROUP BY first name ORDER BY cnt DESC; 


也 支持 如 下 形式 的 对 多 个 列 同时 进行 聚集 计算 。 


SELECT MAX (a),MAX (b) ,MAX (c) FROM table name WHERE http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... GROUP BY d; 


我 们 可 以 在 GROUP BY 语句 后 添加 HAVING 子 句 ， 并 对 聚集 结果 进行 筛选 。 


以 下 命令 将 查询 employees 表 ， 按 照 first_name 分 组 ， 列 出 重复 次 数 大 于 270 的 first_name， 并 按照 first_name 重 复 的 次 数 按 降序 排序 。 


SELECT first name,COUNT(*) cnt FROM employees GROUP BY first name HAVING cnt > 270 ORDER BY cnt DESC ; 


@ 尘 总 SELECT 之 后 的 选择 列表 的 每 个 列 都 要 来 自 于 GROUP BY 的 列 ， 有 些 数 据 库 有 严格 的 约定 ， 必 须 满足 此 条 件 ，MySQL 对 此 没有 强制 要 求 ， 但 需要 清楚 一 个 事实 ， 数 据 库 并 不 能 保证 其 他 列 共有 


一 个 值 ， 其 他 列 的 值 可 能 是 不 国定 的 ， 目 前 其 他 列 的 返回 结果 是 分 组 结果 中 的 第 一 条 记录 ， 是 按 物理 存储 顺序 进行 排序 的 ， 但 这 个 排序 并 不 可 靠 ，MySQL 也 没有 确保 后 续 版 本 会 这 么 定义 。SQL_MODE 添 加 
ONLY_FULL_ GROUP_BY 可 以 避免 这 种 错误 。 


(10) 并 集 操 作 (UNION 和 UNION ALL) 


有 时 我 们 需要 对 两 个 结果 集 进 行 合 并 操作 。UNION 和 UNION ALL 都 是 将 两 个 结果 集合 并 为 一 个 ， 但 UNION 比 UNION ALL 更 快 。UNION 实 际 上 是 UNION DISTINCT， 在 进行 表 连 接 后 会 筛选 掉 重 复 


的 记录 ， 所 以 在 表 连 接 后 会 对 所 产生 的 结果 集 进行 排序 运算 ， 删 除 重复 的 记录 再 返回 结果 。 而 UNION ALL 则 是 不 管 有 没有 重复 记录 ， 都 直接 返回 合并 后 的 记录 。 实 际 应 用 中 ， 两 个 需要 合并 的 结果 集 一 般 不 
会 产生 重复 记录 ， 所 以 建议 在 能 够 使 用 UNION ALL 的 情况 下 尽量 使 用 UNION ALL， 否 则 对 于 很 大 的 结果 集 ， 可 能 会 导致 查询 耗 时 很 长 。 


UNION ALL 的 使 用 示例 如 下 。 


SELECT * FROM a 
UNION ALL 
SELECT * FROM b; 


UNION 的 使 用 示例 如 下 。 


SELECT * FROM a 
UNION 
SELECT * FROM b; 


(11) NULL 值 


NULL 值 的 判断 一 般 使 用 IS NULL 或 IS NOT NULL， 不 能 使 用 以 上 的 比较 操作 符 =、<、>， 因 为 NULL 是 一 个 特殊 的 值 ， 表 示 这 个 值 是 未 知 的 或 没有 定义 的 。 


以 下 命令 将 查询 employees 表 中 first_name 列 以 字母 D 开 头 的 员工 且 last_name 值 不 是 NULL 的 记录 。 


SELECT * FROM employees WHERE first name LIKE 'D%' AND last name IS NOT NULL; 


上 述 命令 添加 的 条 件 “AND last_name IS NOT NULL” 仅 是 为 了 演示 ， 实 际 上 ， 由 于 last_name 列 上 有 约束 一 一 必须 是 NOT NULL， 所 以 “AND last_name IS NOT NULL” 这 个 条 件 总 是 满足 的 。 
对 于 GROUP BY 子 句 ， 两 个 NULL 值 可 以 认为 是 相等 的 。 
对 于 “ORDER BY...ASC”，NULL 显 示 在 前 。 对 于 “ORDER BY...DESC”，NULL 值 显示 在 后 。 


0 或 空 字符 串 实际 上 都 是 有 值 的， 所 以 在 一 个 NOT NULL 的 列 上 插入 0 或 空 字符 串 是 允许 的 。 


4.JOIN (连接 ) 


MySQL 使 用 JOIN 来 连接 多 个 表 查 询 数据 ， 主 要 使 用 的 JOIN 算法 只 有 一 种 ， 那 就 是 nested-loop join。 


nested-loop join 算法 实现 的 机 制 很 简单 ， 就 是 从 驱动 表 中 选取 数据 作为 循环 基础 数据 ， 然 后 以 这 些 数 据 作为 查询 条 件 到 下 一 个 表 中 进行 查询 ， 如 此 往复 。 这 个 实现 机 制 类 似 于 foreach 函 数 的 遍历 。 因 


此 带 来 的 问题 就 是 连接 的 表 越 多 ， 函 数 嵌 套 的 层 数 就 越 多 ， 算 法 复杂 度 呈 指数 级 增长 。 


因此 ， 设 计 查询 要 尽量 减少 连接 的 表 的 个 数 。 


驱动 表 是 指 : 在 使 用 多 表 泣 套 连接 时 ， 首 先 ， 全 表 扫 描 该 驱动 表 ， 然 后 用 驱动 表 返 回 的 结果 集 逐 行 去 匹配 被 驱动 的 表 (可 以 利用 索引 ) ， 数 据 库 基于 成 本 可 能 会 选择 小 表 作为 驱动 表 ， 而 被 驱动 表 使 


索引 进行 连接 。 


JOIN 语句 的 含义 是 把 两 张 (或 者 多 张 ) 表 的 属性 通过 它们 的 值 组 合 在 一 起 ， 一 般 会 遇 到 如 下 3 种 连接 。 
“ 等 值 连 接 ([INNERJOIN) 
“ 左 外 连接 (LEFT JOIN) 


' 右 外 连接 (RIGHT JOIN) 


示例 用 表 见 图 3-4~ 图 3-6 所 示 。 


lemp_no |birth_date Ifirst_name llast_name hire_date 
> 10001 1953-09-02 gary wang 1986-06-=26 
10002 1964-06-02 Bezalel Simmel 1985-11-21 
10003 1959-=12-=03 Parto Bamford 1986-08-28 


10004 1954-05-01 Chirstian Koblick 1986-12-01 
10005 1955-01-21 Kyoichi Maliniak 1989-09-12 
10006 1953-04-20 Anneke Preusig 1989-06-02 
10007 1957-05-23 Tzvetan Zielinski 1989-02-10 


图 3-4 职员 表 


在 部 门 职员 表 中 ， 如 果 是 在 职员 工 ， 那 么 to_date 的 值 为 '9999-01-01'。 


Development 
Human Resources 


Production 
Research 
Sales 


图 3-5 ”部 门 表 


Ifrom_date Ito_date 
> 10001 1986-06-26 9999-01-01 
10002 1996-08-03 9999-01-01 
10003 1995-12-03 9999-01-01 


10004 1986-12-01 9999-01-01 
10005 1989-09-12 9999-01-01 
1990-08-05 9999-01-01 


图 3-6 ”部 门 职员 表 


(1) 内 连接 
内 连接 (INNER JOIN) 是 应 用 程序 中 普遍 应 用 的 “连接 ”操作 ， 它 一 般 都 是 默认 的 连接 类 型 。 内 连接 基于 连接 谓词 将 两 张 表 (如 A 和 B) 的 列 组 合 在 一 起 ， 从 而 产生 新 的 结果 表 。 


内 连接 可 以 被 进一步 分 为 等 值 连接 、 自 然 连 接 和 交叉 连接 。 较 常用 的 是 等 值 连接 。 


以 下 是 等 值 连接 的 示例 。 


查询 目前 在 职 的 所 有 员工 的 姓名 及 其 所 在 的 部 门 时 可 使 用 如 下 语句 。 


SELECT 
de.emp no, first name, last name, dept name 


FROM 
dept_ emp de 
~ INNER JOIN 
employees e ON de.emp no = e.emp no 
INNER JOIN 加 
departments d ON d.dept no = de.dept no 
WHERE > a 


to date = '9999-01-01'; 


输出 结果 如 图 3-7 所 示 。 


自然 连接 (natural join) 是 等 值 连接 的 进一步 特例 化 。 两 表 做 自然 连接 时 ， 两 表 中 名 称 相 同 的 所 有 列 都 将 被 比较 ， 这 是 隐 式 的 。 自 然 连 接 得 到 的 结果 表 中 ， 两 表 中 名 称 相 同 的 列 只 出 现 一 次 。 一 般 应 该 
避免 使 用 自然 连接 ， 因 为 我 们 无 法 指定 连接 列 ， 且 这 种 写法 隐藏 了 我 们 的 JOIN 关系 ， 如 果 以 后 数据 模型 发 生 了 变化 ， 可 能 会 导致 出 现 非 预期 的 结果 。 


交叉 连接 ( 笛 卡 儿 积 ) ”把 表 视 为 行 记录 的 集合 ， 交 叉 连 接 即 返回 这 两 个 集合 的 笛 卡 儿 积 。 这 其 实 等 价 于 内 连接 的 连接 条 件 为 “ 永 真 ”， 或 者 连接 条 件 不 存在 的 情况 。 


示例 如 下 。 


| first_name 


llast_name 


deptname 


Huan 
Basil 
Breannda 
Jungsoon 
Yuichiro 


Lortz 
Tramer 
Billingsley 


Syrzycki 
Swick 


Customer Service 
Customer Service 
Customer Service 
Customer Service 
Customer Service 


Customer Service 
Customer Service 


Valtorta 
Lamba 


Kayoko 
Babette 


图 3-7 在 职员 工 的 姓名 和 部 门 的 等 值 连接 


SELECT * FROM a JOIN b; 
SELECT * FROM a,b; 


SQL 定 义 了 两 种 不 同 的 语法 方式 来 表示 “连接 *”。 一 种 是 “ 显 式 连 接 符号 ”， 显 式 地 使 用 关键 字 JOIN， 另 一 种 是 “ 隐 式 连接 符号 ”， 它 使 用 所 谓 的 “ 隐 式 连接 符号 ”。 隐 式 连接 符号 把 需要 连接 的 表 放 
到 SELECT 语 句 的 FROM 部 分 ， 并 用 逗号 隔 开 。 这 样 就 构成 了 一 个 “交叉 连接 *”，WHERE 语 句 可 能 会 放置 一 些 过 渡 谓 词 (过滤 条 件 ) 。 那 些 过 滤 谓 词 在 功能 上 等 价 于 显 式 连接 符号 。 


如 上 所 述 的 例子 中 ， 查 询 目 前 在 职 的 所 有 员工 的 姓名 及 所 在 部 门 时 ， 可 以 写成 如 下 的 形式 。 


SELECT 
de.emp no, first name, last name, dept_ name 
FROM 
Gept_emp de, 
employees e, 
departments d 
WHERE 
de.dept no = d.dept no 
and de.emp no = e.emp no 
and de.to date = "9999-01-0177 


它 等 价 于 
SELECT 
de.emp no, first name, last name, dept name 
FROM 
dept_emp de 
INNER JOIN 
employees e ON de.emp no = e.emp no 
INNER JOIN 
departments d ON d.dept no = de.dept no 
WHERE 


to date = '9999-01-01°'; 


ON 表达 式 是 任何 可 以 用 于 WHERE 子 句 的 条 件 表达 式 ， 一 般 来 说 ， 你 应 该 只 在 ON 表达 式 里 指定 如 何 JOIN 表 ， 而 把 筛选 结果 集 的 条 件 放 到 WHERE 子 句 中 。 


(2) 外 连接 (OUT JOIN) 


并 未 要 求 连接 的 两 表 的 每 一 条 记录 在 对 方 的 表 中 都 必须 有 一 条 匹配 的 记录 。 连 接 表 保留 所 有 的 记录 ， 甚 至 这 条 记录 没有 匹配 的 记录 也 要 保留 。 外 连接 可 依据 连接 表 保 留 左 表 、 右 表 或 全 部 表 的 行 而 进 一 
步 分 为 左 外 连接 、 右 外 连接 和 全 外 连接 。 全 外 连接 一 般 没有 什么 意义 ，MySQL 并 不 直接 支持 全 外 连接 ， 但 可 以 通过 左右 外 连接 的 并 集 (UNION) 来 模拟 实现 。 


1) 左 外 连接 (LEFT JOIN、LEFT OUTER JOIN) 


左 外 连接 也 简称 为 左 连接 (LEFT JOIN) ， 若 A 和 B 两 表 进 行 左 外 连接 ， 那 么 结果 表 中 将 包含 “ 左 表 ” ( 即 表 A) 的 所 有 记录 ， 即 使 那些 记录 在 “ 右 表 ”B 中 没有 符合 连接 条 件 的 匹配 。 这 就 意味 着 即使 
ON 语句 在 表 B 中 的 匹配 项 是 0 条 ， 连 接 操作 也 还 是 会 返回 一 条 记录 ， 只 不 过 这 条 记录 中 的 来 自 于 表 B 的 每 一 列 的 值 都 为 NULL。 


之 前 的 示例 曾 演示 过 插入 一 些 记录 (员工 号 111111、111112、111113、111114) 到 employees 表 中 ， 但 还 没有 指定 新 插入 员工 记录 的 部 门 。 现 在 用 如 下 语句 联合 查询 下 雇员 表 和 部 门 -雇员 表 。 


SELECT 
de.dept no, first name, last name 
FROM 加 
employees e 
LEFT JOIN 
dept_ emp de ON e.emp no = de.emp no 
WHERE 和 


e.emp no IN (10001,10002,10003,111111 , 111112, 111113, 111114); 


结果 如 图 3-8 所 示 ， 可 以 看 到 有 些 员工 没有 部 门 ，dept_no (部 门 代码 ) 显示 为 NULL。 


2) 右 外 连接 (RIGHT JOIN、RIGHT OUT JOIN) 


右 外 连接 也 简称 右 连接 (RIGHT JOIN) ， 它 与 左 外 连接 完全 类 似 ， 只 不 过 是 连接 表 的 顺序 相反 而 已 。 如 果 A 表 右 连接 B 表 ， 那 么 “ 右 表 ”B 中 的 每 一 行 在 连接 表 中 至 少 会 出 现 一 次 。 如 果 B 表 的 记录 
在 “ 左 表 ”A 中 未 找到 匹配 行 ， 则 连接 表 中 来 源 于 A 表 中 的 列 的 值 将 设 为 NULL， 示 例如 下 。 


SELECT * 
FROM A RIGHT JOIN B 
ON A.id = B.id 


实际 上 ， 显 式 的 右 外 连接 很 少 使 


， 因 为 它 的 可 读 性 不 佳 ， 所 以 总 是 被 改写 成 左 连接 。 


图 3-8 查询 一 些 员工 的 部 门 


如 果 JOIN 的 层次 比较 多 ， 则 需要 留意 一 下 可 读 性 ， 如 果 不 能 确定 优先 级 ， 那 么 建议 使 用 括号 来 明确 优先 级 ， 以 避免 犯错 误 。 例 如 ， 在 以 下 的 例子 中 ， 由 于 逗号 的 优先 级 比 JOIN 表 达 式 低 ， 因 


致 我 们 犯错 误 。 


Simmel 
Bamford 


Chen 
chen 
yu 

chen 


此 可 能 会 导 


SELECT t1.id,t2.id,t3.id 
FROM t1,t2 

LEFT JOIN t3 ON (t3.id=t1.id) 
WHERE t1.id=t2.id; 


上 述 代 码 实际 上 是 : 


SELECT t1.id,t2.id,t3.id 
FROM t1, ( t2 LEFT JOIN t3 ON (t3.id=tl.id) ) 
WHERE t1.id-t2.id; 


但 这 其 实 并 不 是 我 们 的 本 意 ， 应 该 写成 如 下 的 形式 (用 括号 来 提升 优先 级 别 ) 。 


SELPCT tl. id,t2.1d,t3.1d 
FROM (tl1,t2) 
LEFT JOIN t3 ON (t3.ig=t1.id) 
WHERE t1.id=t2.id; 


使 用 JOIN 命令 操作 表 的 时 候 ， 需 要 留意 如 果 表 按 条 件 筛选 的 记录 是 不 确定 的 ， 可 能 就 会 导致 非 预 期 的 结果 。 下 面 以 


3-9 和 


3-10 所 示 的 数据 为 例 来 进行 说 明 。 


图 3-10 t2 表 


对 于 如 下 的 查询 : 


SELECT 
tl.id as tl id, 
t1.code as tl] code, 
t2.id as t2 id 
t2.code as t2 coge, 
t2.name 

FROM 
让 


JOIN 
t2 ON tl.code = t2.code AND t2.code = 'b'; 


由 于 code='b' 在 两 个 表 中 都 可 以 唯一 确定 一 条 记录 ， 因 此 查询 会 返回 合理 的 结果 (如 图 3-11 所 示 ) 。 


3-11 返回 正确 的 结果 


而 对 于 如 下 查询 : 


SELECT 


J 
t2 ON t1.code 


.id as tl id 


.Code as t2 code, 
.name 


FROM 


此 让 
OIN 
= t2.code AND t2.code = 'a'; 


由 于 t2 表 code='a' 会 返回 多 个 值 。 最 终 的 查询 结果 返回 


ti_id 


5. 子 查询 


子 查询 是 指 查询 语句 里 的 SELECT 语 句 。 比 如 下 面 这 条 语句 。 


SELECT * FROM tl1 WHERE columnl = 


| t1_code 


(SELECT column1 FROM t2); 


了 3 条 记录 (如 图 3-12 所 示 ) ， 因 此 可 能 不 是 我 们 所 需要 的 结果 。 


3-12 返回 错误 的 结果 


例 。 


在 这 个 示例 中 ，SELECT*FROM t1 是 外 部 查询 (外 部 语句 ) ，SELECT column1 FROM t2 是 子 查 询 。 


我 们 可 以 说 ， 这 个 子 查 询 是 嵌 套 在 外 部 查询 中 的 ， 子 查询 谋 套 的 


许多 人 认为 子 查询 的 可 读 性 更 好 ， 子 查询 在 现实 中 的 应 


查询 薪水 大 于 150000 的 员工 的 姓名 。 


层次 不 宜 过 多 ， 否 则 性 能 可 能 会 很 差 。 


也 很 广泛 ， 但 MySQL 对 于 子 查询 的 优化 不 佳 ， 由 于 子 查询 一 般 可 以 改写 成 JOIN 语句 ， 


因此 一 般 建 议 使 用 JOIN 的 方式 查询 数据 。 下 面 来 看 看 示 


SELECT 
emp _ no, first name, last name 
FROM 
employees 
WHERE 
emp no IN (SELECT 
emp_no 
FROM 加 
salaries 
WHERE 
to date = '9999-01-01' 
AND salary > 150000); 


可 将 上 述 语句 改写 成 JOIN 的 方式 ， 查 询 语句 如 下 。 


SELECT 
employees.emp no, first name, last name 
FROM 和 - 
employees 


salaries ON salaries.emp no = employees.emp no 
WHERE 
salaries.to date = '9999-01-01"' 
AND salaries.salary > 150000; 


Oi 以 上 的 例子 使 用 了 通配符 “*”， 生 产 环境 DBA 一 般 会 建议 不 要 使 用 


3.4 ”PHP 开发 
3.4.1 概述 


以 说 PHP 的 应 


“selectt+” 这 样 的 方式 查询 数据 ， 这 里 使 用 通配符 主要 是 为 了 书写 方便 ， 避 免 分 散 注 意 力 ， 从 而 关注 更 重要 的 部 分 。 


一 般 的 流行 语言 ， 如 PHP、C、Perl、Java 都 对 MySQL 提 供 了 完善 支持 ， 这 其 
范围 相当 广泛 ， 尤 其 是 在 Web 程 序 的 开发 上 ， 比 如 ， 我 们 熟知 的 Facebook， 就 是 PHP、MySQL 的 重度 使 


是 PHP。 


每 次 页 面 访问 时 都 将 被 执行 。PHP 代 码 将 在 Web 服 务 器 中 被 解释 并 


中 PHP 是 最 常用 的 使 用 MySQL 数 据 库 的 语言 ， 互 联网 普遍 使 


者 。 作 为 互联 网 开发 者 ， 我 们 有 必要 熟悉 MySQL 在 各 种 语言 环境 下 的 使 


的 是 LAMP/LNMP 架 构 ， 这 里 的 P 可 以 理解 为 就 是 PHP， 可 
,尤其 


以 下 简要 介绍 PHP 与 MySQL 开 发 ，PHP (全 称 为 Hypertext Preprocessor， 即 超 文本 预 处 理 器 ) 是 一 种 开源 的 通用 计算 机 脚本 语言 ， 它 是 服务 器 端的 解释 语言 ， 可 以 嵌入 到 HTML 页 面 中 ， 这 些 代 码 在 


如 果 想 要 学 习 PHP+MySQL 开 发 ， 那 么 首先 需要 搭建 一 个 适合 练习 的 开发 环境 。 对 于 操作 系统 ， 建 议 使 用 Linux; Web 服 务 器 建议 使 


LAMP (Linux、Apache、MySQL、PHP) 环境 的 文档 ， 大 家 可 以 搜索 查看 。 


生成 HTML 或 访问 者 看 到 的 其 他 输出 界面 。 


Apache 或 Nginx; 数据 库 当 然 是 MySQL 了 。 网 上 有 很 多 搭建 


也 有 一 些 集成 的 


3.4.2 ”客户 端 访问 过 程 


自动 安装 包 ， 如 XAMPP， 可 以 一 键 安装 帮 你 部 署 好 所 有 环境 ， 但 还 是 建议 手动 部 署 下 环境 ， 从 而 对 Web 服 务 器 的 配置 文件 、PHP 的 配置 文件 有 一 定 的 了 解 。 


下 面 简单 介绍 下 传统 网 站 的 访问 数据 流 。 在 客户 端 (用 户 ) 与 数据 库 服务 器 之 间 往 往 还 会 涉及 Web 服 务 器 和 负载 均衡 设备 。 作 为 一 个 开发 者 ， 需 要 清楚 数据 是 如 何在 客户 端 和 服务 器 之 间 进 行 传递 的 。 


下 面 简 生 


说 明 下 客 


1. 访 问 DNS 服务 


户 在 浏览 器 的 地 址 栏 输入 网 址 域名 ， 浏 览 器 会 查询 这 个 域名 与 |P 的 对 应 关系 是 否 已 经 存在 了 


System，DNS) 服务 器 。 


什么 是 域名 系统 服务 器 呢 ? 


计算 机 
外 二 个 ; 


再 不 知道 ， 再 问 下 一 个 ， 


世界 是 以 |P 地 址 来 定位 服务 器 或 PC 的 ，DNS 这 项 服务 的 


DNS 系统 中 ， 常 见 的 资源 记录 类 型 有 如 下 两 种 。 


“主机 记录 〈A 记 录 ) : 用 于 名 称 解析 的 重要 记录 ， 它 将 
“ 别名 记录 (CNAME 记 录 ) : 


DNS 查询 有 两 种 方式 : 递归 和 迹 代 。DNS 客 户 端 设置 使 


式 。 


下 面 以 查询 zh.wikipedia.org 为 例 。 


客 


户 端 发 送 查 询 报 文 “query zh.wikipedia.org” 至 DNS 服务 器 ，DNS 服 务 器 首先 检查 


户 端 访问 数据 库 服务 器 中 间 经 过 的 环节 ， 这 里 以 Windows PC 浏览 器 为 例 进行 说 明 ， 并 解释 一 些 软 硬 件 基础 概念 。 


村 定 的 主机 名 映射 到 对 应 主机 的 IP 地 址 上 。 


本 机 的 host 文 件 中 ， 如 果 没有 ， 则 会 把 请 求 发 送 给 本 机 指定 的 域名 系统 (Domain Name 


的 就 是 将 域名 翻译 成 |P， 使 用 户 可 以 更 方便 地 访问 互联 网 。DNS 服 务 器 有 一 定 的 层级 ， 如 果 某 个 DNS 服务 器 不 知道 如 何 翻 译 ， 就 会 问 另 
这 样 就 会 有 一 个 递归 的 过 程 。 幸 运 的 是 ，DNS 可 以 缓存 查询 结果 ， 这 样 我 们 就 不 需要 经 历 重复 宛 长 的 过 程 去 查找 一 个 域名 映射 的 IP 地 址 。 


用 于 将 某 个 别名 指向 到 某 个 A 记 录 上 ， 这 样 的 好 处 是 修改 IP 的 时 候 改 A 记 录 就 可 以 了 ， 对 于 有 大 量子 域名 的 网 站 可 以 简化 操作 、 统 一 维护 域名 指向 。 


的 DNS 服务 器 一 般 都 是 递归 服务 器 ， 它 负责 全 权 处 理 客户 端的 DNS 查询 请 求 ， 直 到 返回 最 终结 果 。 而 DNS 服务 器 之 间 一 般 采 用 友 代 查询 的 方 


自身 缓存 ， 如 果 存 在 记录 则 直接 返回 结果 。 


如 果 记 录 老 化 或 不 存在 ， 则 DNS 服务 器 向 根 域名 服务 器 发 送 查 询 报 文 “query zh.wikipedia.org”， 根 域名 服务 器 返回 “.org” 域 的 权威 域名 服务 器 地 址 。 


DNS 服务 器 


DNS 服务 器 


向 “.org” 域 的 权威 域名 服务 器 发 送 查询 报 文 “query zh.wikipedia.org”， 得 到 “.wikipedia.org” 域 的 权威 域名 服务 器 地 址 。 


向 “.wikipedia.org” 域 的 权威 域名 服务 器 发 送 查 询 报 文 “query zh.wikipedia.org”， 得 到 主机 zh 的 A 记录 ， 存 入 自身 缓存 并 返回 给 客户 端 。 


DNS 系统 还 有 一 个 很 重要 的 概念 : TTL (Time To Live 的 缩写 ) ， 简 单 地 说 ， 它 表示 的 是 一 条 域名 解析 记录 在 DNS 服务 器 上 的 缓存 时 间 。 当 一 个 递归 域名 服务 器 查询 权威 域名 服务 器 获取 某 个 域名 的 映 


射 时 ， 它 会 将 该 记录 缓存 上 一 定 的 时 间 ， 这 个 时 间 就 是 TTL 指 定 的 时 间 (以 秒 为 单位 ) 。 如 果 在 一 台 Linux 机 器 上 
在 你 的 DNS 缓存 中 ， 这 笔记 录 能 够 保存 的 时 间 开 始 倒 计 数 ， 如 果 TTL 没 有 | 
从 权威 域名 服务 器 重新 获取 记录 。 也 就 是 说 ， 如 果 更 改 了 域名 的 指向 ， 那 么 最 长 需 


了 解 DNS 系 统 不 仅仅 是 运 维 团 队 的 事情 ， 研 发 人 员 也 有 必要 清楚 
间 ， 是 否 需 要 修改 A 记录 。 另 外 需要 注意 的 是 ， 虽然 有 TTL 的 机 制 ， 但 


归 零 ， 缓 存 服务 器 会 简 和 


大 的 影响 ， 这 种 问题 很 难 解决 。 


2. 经 过 负载 均衡 软 硬 件 设备 


反复 运行 命令 “dig www.mysql.com” ， 就 会 发 现 这 个 缓存 时 间 在 减少 ， 为 什么 呢 ? 因为 


TTL 时 间 才 会 完全 生效 。 


图 


经 过 负载 均衡 软 硬 件 设备 如 F5、Haproxy、LVS 后 ， 再 把 请 求 转发 给 后 端的 网 络 服务 。 


负载 均衡 (Load Balance) ， 即 将 负载 (工作 任务 ) 进行 平衡 、 分 挫 到 多 个 操作 单元 上 进行 执行 ， 例 | 
务 。 当 后 端的 一 台 服 务 器 宕 机 或 过 载 ， 负 载 均衡 软 硬 件 设备 将 不 再 转发 流量 到 这 人 台 服 务 器 ， 转 而 发 送 到 备 


最 早 的 负载 均衡 技术 是 通过 DNS 来 实现 的 ， 在 DNS 中 为 多 个 
DNS 负载 均衡 是 一 种 简单 而 且 有 效 的 方法 ， 但 是 它 不 能 区 分 服务 器 的 差异 ， 也 不 能 反映 


地 用 已 缓存 的 记录 答 


查询 请 求 。 若 这 个 数字 归 零 后 ， 下 次 再 有 人 重新 搜寻 这 笔记 录 时 ， 你 的 DNS 就 需要 


大 概 的 机 制 。 我 们 在 部 署 程序 或 设计 迁移 方案 的 时 候 ， 需 要 清楚 是 否 
内 移动 网 络 的 特殊 性 ，DNS 的 修改 可 能 长 期 不 能 生效 ， 


的 服务 器 上 ， 从 而 实现 


均衡 存在 ， 完 成 粗 粒度 的 流量 调度 任务 ， 比 如 在 机 房 之 间 使 用 DNS 负载 均衡 ， 在 机 房 内 部 使 用 其 他 负载 均衡 方式 。 


F5 负 载 均衡 器 是 应 用 交付 网 络 的 全 球 领导 者 F5 Networks 公 司 提供 的 一 个 负载 均衡 器 专 


公司 使 


F5 等 硬件 设备 毕竟 是 商业 化 的 产品 ， 比 较 昂贵 ， 在 一 定 规模 下 使 
设备 已 经 


F5 设 备 ， 虽 然 F5 设 备 


比较 昂贵 ， 但 在 一 定 规模 下 ， 它 可 以 降 人 
络 的 复杂 性 ， 也 有 使 用 BIG-IP 广 域 网 流量 管理 器 (BIG-IP GTM) 的 。 


3. 经 过 反 向 代理 服务 


反 向 代理 是 代理 服务 器 的 一 种 ， 比 如 Squid、Vanish 等 。 它 根 : 


不 再 歼 述 。 


设备 ， 一 般 需要 配置 双 机 故障 元 余 切 换 。F5 主 要 应 


特殊 的 分 布 式 数据 库 的 设计 ， 如 果 遭 到 域名 污染 ， 往 往 也 会 造成 巨 


请 域名 、 创 建新 的 CNAME 记 录 ， 是 否 需要 修改 TTL 生 效 时 


0Web 服 务 器 、FTP 服 务 器 、 企 业 关键 应 用 服务 器 和 其 他 关键 任务 服务 器 等 ， 从 而 共同 完成 工作 任 
自动 故障 匈 余 切 换 。 


也 址 配置 同一 个 名 字 ， 因 而 查询 这 个 名 字 的 客户 机 将 得 到 其 中 的 一 个 地 址 ， 从 而 使 得 不 同 的 客户 访问 不 同 的 服务 器 ， 达 到 负载 均衡 的 目的 。 
民 务 器 的 当前 运行 状态 ， 对 于 高 并 发 、 大 流量 的 请 求 ， 很 容易 导致 负载 并 不 均衡 。 现 实 中 ， 它 可 能 作为 更 上 层 的 负载 


于 传统 行业 内 ， 如 电信 、 移 动 、 银 行 等 ， 也 有 许多 互联 网 


氏 企业 的 成 本 ， 代 蔡 系 统管 理 员 、 工 程 师 管理 各 种 资源 。 互 联网 公司 
F5 设 备 除 了 负载 均衡 外 ， 还 有 一 些 其 他 的 功能 ， 如 利用 压缩 技术 降低 带宽 支出 、 减 少 连接 数 等 。 


可 以 获得 比较 好 的 投资 回报 率 ， 但 在 公司 初创 时 ， 或 者 公司 已 


经 流量 很 大 的 时 候 ，F5 设 备 的 成 本 优势 则 并 不 明显 ， 


得 比较 多 的 是 F5 BIG-IP LTM (本 地 流量 管理 器 ) ， 由 于 国内 网 


前 很 多 公司 的 F5 


逐步 被 LVS 等 其 他 软件 蔡 代 ， 所 以 ， 对 于 互联 网 公司 ， 一 般 建议 使 用 开源 软件 实现 负载 均衡 ， 常 用 的 有 LVS、Haproxy 等 ， 它 们 和 
流量 很 大 的 情况 下 ， 都 能 够 满足 需要 。 网 上 有 很 多 关于 LVS、Haproxy 的 资料 ， 这 号 


其 他 技术 配合 使 用 可 以 实现 很 好 的 扩展 性 ， 无 论 是 在 流量 很 小 还 是 


过 滤 流 量 保证 网 络 安全 ， 也 可 以 作为 代理 服务 器 链 中 的 一 环 ， 向 上 级 代理 转发 数据 或 直 
态 的 数据 ， 比 如 图 片 和 文件 ， 如 果 反 向 代理 靠近 用 户 的 网 络 ， 那 么 


4. 到 达 Web 服 务 器 


Web 服 务 器 包括 Nginx、Apache、Lighttpd、Tomcat、Resin 等 。 


Apache HTTP Server (简称 Apache) 是 Apache 软 件 基金 会 的 一 个 开放 源 代码 的 网 页 服务 器 ， 是 使 用 最 广泛 、 最 流行 Web 服 务 器 端 软件 之 一 。Apache 功 能 最 完备 ， 但 占用 的 资源 比较 多 ， 


数 也 比 Nginx 少 ， 所 以 目前 在 互联 网 界 ， 已 经 被 Nginx 抢 了 风头 。 


居 客 户 端的 请 求 ， 从 后 端的 服务 器 上 获取 资源 ， 然 


后 再 将 这 些 资源 返回 给 客户 端 。 常 用 的 代理 服务 为 Squid， 它 可 以 作为 缓存 服务 器 ， 可 以 
接连 接 互联 网 ， 一 些 网 站 往往 在 前 端 增 加 Squid 反 向 代理 加 速 响应 、 提 高 吞吐 量 。Squid 可 以 缓存 内 容 ， 特 别 是 一 些 静 
户 就 会 得 到 延 时 很 低 的 高 质量 访问 ， 这 正 是 CDN 技 术 的 核心 。 


持 的 连接 


Nginx (发 育 同 engine x) 是 一 款 由 俄罗斯 程序 员 lgor Sysoev 所 开发 的 轻 量 级 的 网 页 服务 器 ， 它 也 可 以 用 作 反 向 代理 、 负 载 均 衡器 ， 但 更 常见 的 功能 是 Web 服 务 器 。 它 是 一 款 面向 性 能 设计 的 HTTP 服 
务 器 ， 以 事件 驱动 的 方式 编写 ， 很 注重 效率 ， 所 以 在 许多 评测 中 ， 相 比 于 Apache 都 有 更 高 的 性 能 ， 能 支撑 更 多 的 并 发 请 求 。 


在 常见 的 网 络 架构 中 ，Nginx 往 往 配 合 php-fpm 使 用 ，Nginx 负 责 处 理 静态 请 求 ， 把 PHP 等 动态 请 求 抛 给 后 端的 php-fpm 处 理 。 或 者 Nginx 处 理 前 端的 静态 请 求 ， 把 Apache 放 在 后 端 处 理 一 些 动态 请 
求 。 所 以 各 种 Web 服 务 器 之 间 可 能 也 有 一 定 的 层级 关系 或 功能 分 工 ， 这 点 需要 了 解 清楚 。 


5. 调 用 应 用 服务 器 


应 用 程序 服务 器 是 通过 很 多 协议 来 为 应 用 程序 提供 商业 逻辑 的 服务 器 。 


根据 我 们 的 定义 ， 作 为 应 用 程序 服务 器 ， 它 将 通过 各 种 协议 (包括 HTTP) ， 把 商业 逻辑 暴露 给 客户 端 应 用 程序 。Web 服 务 器 主要 是 处 理 向 浏览 器 发 送 HTML 以 供 浏览 ， 而 应 用 程序 服务 器 则 提供 访问 商 
业 逻 辑 的 途径 以 供 客户 端 应 用 程序 使 用 。 


这 里 所 说 的 应 用 服务 器 更 多 地 属于 内 部 调用 的 范畴 。 一 般 Web 服 务 器 可 以 高 效 地 处 理 简单 的 响应 请 求 ， 但 如 果 有 复杂 的 商业 逻辑 的 话 ， 把 这 些 业 务 逻 辑 放 到 独立 的 应 用 服务 器 上 ， 然 后 通过 调用 的 方式 
来 获取 信息 会 更 安全 、 性 能 更 高 、 开 发 也 更 方便 。 


6. 访 问 数据 库 


客户 端 不 直接 和 数据 库 打 交道 ， 如 果 处 理 逻 辑 需要 访问 数据 ， 则 由 应 用 服务 器 或 Web 服 务 器 访问 数据 库 ， 获 取 数据 。 


以 上 架构 是 比较 普通 的 三 层 /四 层 架 构 ， 架 构 中 也 可 能 有 一 个 缓存 (Cache) 服务 ， 以 减轻 数据 库 的 压力 。Web 服 务 器 、 应 用 服务 器 到 数据 库 服务 器 中 间 可 能 存在 数据 中 间 件 ， 但 更 常规 的 做 法 是 通过 在 
Web 服 务 器 、 应 用 服务 程序 配置 文件 里 指定 IP 或 内 网 域名 来 配置 数据 库 路 由 。 


生产 环境 里 ， 如 果 出 现 了 性 能 问题 ， 研 发 人 员 往 往 第 一 时 间 就 会 怀疑 是 数据 库 出 现 了 性 能 问题 ， 但 事实 往往 并 非 如 此 ， 从 上 面 的 叙述 可 知 ， 用 户 的 访问 请 求 经 过 了 许多 环节 ， 有 DNS、 负 载 均衡 设备 、 
Web 服 务 器 ， 而 且 长 距离 网 络 中 的 数据 传输 物理 上 还 需要 经 过 许多 设备 ， 如 路 由 器 、 交 换 机 等 ， 由 于 国内 网 络 的 特殊 性 和 复杂 性 ， 有 时 会 碰 到 网 络 丢 包 ， 丢 包 很 可 能 导致 性 能 问题 。 所 以 ， 如 果 出 现 了 性 能 
问题 或 访问 异常 ， 研 发 、 运 维 人 员 就 需要 仔细 甄别 到 底 是 哪个 环节 出 现 了 问题 ， 配 合 各 种 监控 和 日 志 记录 ， 是 有 可 能 快速 定位 到 问题 症结 所 在 的 。 


人 后 注 意 数据 库 一 般 位 于 内 网 ， 若 没有 外 网 IP， 则 不 需要 暴露 给 外 网 。 


3.4.3 ”开发 工具 


这 里 主要 介绍 一 款 常 用 的 基于 Web 的 管理 工具 phpMyAdmin。 


phpMyAdmin 是 一 个 以 PHP 为 基础 的 MySQL 的 数据 库 管理 工具 。 让 管理 者 可 以 通过 Web 接 口 操作 数据 库 ， 也 就 是 于 远 端 管理 MySQL 数 据 


库 。 


网 


研发 人 员 并 不 像 DBA 那 样 经 常 通过 命令 行 来 操作 数据 库 ， 所 以 往往 会 不 熟悉 命令 行 ， 借 由 这 套 


形 工具 ， 可 以 方便 地 建立 、 修 改 、 删 除数 据 库 及 表 、 浏 览 数据 、 插 入 数据 、 删 除数 据 。 


phpMyAdmin 也 是 很 好 的 学 习 工 具 ， 可 以 生成 SQL 语句 ， 验 证 语法 ， 也 可 以 生成 常用 的 PHP 语 法 。 对 于 研发 人 员 ， 若 要 求 熟练 使 用 命令 行 操作 数据 库 ， 那 么 这 个 要 求 确实 高 了 些 ， 他 们 应 该 把 更 主要 的 
精力 放 在 程序 代码 的 编写 上 ， 所 以 ， 建 议 熟 悉 此 类 图 形 工具 。 


需要 注意 的 是 ， 未 经 配置 的 phpMyAdmin 不 安全 ， 容 易 受 到 攻击 ， 建 议 只 将 其 部 署 在 开发 和 测试 环境 中 。 在 生产 环境 中 ， 如 果 需 要 部 署 phpMyAdmin， 那 么 一 定 要 先 经 过 安全 评估 ， 确 认 没有 安全 漏 
洞 ， 而 这 往往 是 需要 通过 改造 phpMyAdmin 来 实现 的 。 


还 有 一 些 客户 端 工具 ， 如 Workbench、toad for MySQL、SQLyog、Navicat for MySQL。 这 其 中 ，SQLyog 功 能 最 强大 ， 但 是 ， 它 是 收费 软件 ，Workbench 出 自 官方 ， 对 比 以 前 的 版 本 功能 已 经 有 
了 长 足 的 进步 ， 而 且 也 一 直 在 努力 改进 中 ， 建 议 大 家 优先 使 用 这 个 工具 。 


3.4.4 ”操作 数据 


如 果 想 要 做 Web 开 发 ， 那 么 读者 需要 熟悉 HTML、XML、JavaScript、Ajax 等 知识 。 关 于 这 些 知识 和 PHP 的 基本 语法 和 特性 这 里 不 做 介绍 ， 本 章 主要 讲述 PHP 相 对 于 数据 的 一 些 常用 操作 。 如 果 需 要 详 
细 了 解 PHP 开 发 知识 ， 可 以 参考 官方 文档 或 《PHP 与 MySQL Web 开 发 》 [一 书 。 


PHP 提 供 了 3 种 API 可 用 于 访问 MySQL， 分 别 是 MySQL 扩 展 、MySQLi 扩 展 、PDO 扩 展 。 官 方 的 建议 是 使 用 MySQLi 或 PDO， 因 为 MySQL 扩 展 在 未 来 可 能 被 废弃 掉 。MySQLi 只 支持 MySQL 数 据 库 ， 如 
果 有 跨 数据 库 平台 的 需要 ， 那 么 就 要 使 用 DO 了 。 由 于 目前 MySQL 扩 展 仍然 有 广泛 的 应 用 ， 以 下 示例 仍 以 MySQL 扩 展 为 例 ， 同 时 也 将 列 出 MySQLi 的 代码 供 读者 参考 。 


1.PHP 连 接 数据 库 


在 访问 并 处 理 数据 库 中 的 数据 之 前 ， 必 须 先 创建 到 达 数 据 库 的 连接 。 
PHP 提 供 了 两 个 连接 MySQL 的 函数 mysql_pconnect0 和 mysql_connect()。 


mysql_connect() 函 数 的 语法 如 下 。 


mysql_connect (servername, username, password); 


涉及 的 参数 详 见 表 3-14。 


表 3-14 mysql_connect 参数 描述 


参数 描述 
servername 可 选 。 规 定 要 连接 的 服务 器 。 默 认 是 “localhost:3306” 
username 可 选 。 规 定 登 录 所 使 用 的 用 户 名 。 默 认 值 是 拥有 服务 器 进程 的 用 户 的 名 称 
password 可 选 。 规 定 登 录 所 用 的 密码 。 默 认 是 “” 


脚本 一 结束 ， 就 会 关闭 连接 。 如 需 提 前 关闭 连接 ， 请 使 用 mysql_close() 函 数 。 


2. 选 择 数据 库 


在 执行 语句 前 ， 需 要 先 选择 数据 库 。 通 过 mysql_select_db() 函 数 可 选取 数据 库 ， 它 的 语法 如 下 。 


bool mysql select db(db name); 


示例 test_conn_use_db.php 的 语句 如 下 。 


<html> 
<head> 
<title>Selecting MySQL Database</title> 
</head> 
<body> 
<?php 
$dbhost "27.0.0.1:3306'} 
$dbuser = 'garychen'; 
$dbpass = 'garychen'; 
$conn = mysql_connect ($dbhost, $dbuser, $dbpass); 
if(! $conn ) 
{ 

die('Could not connect: ' . mysql error()); 
} 
echo 'Connected successfully'; 
$db_selected = mysql_select db('employees'); 
if (!$db selected) { 

die ('Can\'t use employees : 


' . mysql error()); 
echo "<br />"; 

echo "use employees successfully'; 

mysql_close ($conn); 

?> 


</body> 
</html> 


使 用 MySQLi 连 接 数 据 库 ， 语 句 如 下 。 


<html> 

<head> 

<title> connect database </title> 

</head> 

<body> 

<?php 

$host="127.0.0.1"; 

$port=3306; 

$socket=""; 

$user="garychen"; 

$password="garychen"; 

$dbname="employees"; 

$con = new mysqli ($host, $user, S$password, $dbname, $port, $socket) 
or die ('Could not connect to the database server' . mysqli connect error()); 

echo 'connect to employees database successfully'; 

$con->close () 7 

?> 

</body> 

</html> 


注意 无 论 是 指定 “localhost” 还 是 “localhost:port” 作 为 servername，MySQL 客 户 端 库 都 将 窗 盖 之 并 尝试 连接 到 本 地 套 接 字 。 如 果 希 望 使 用 TCP/IP 连 接 ， 则 用 “127.0.0.1” 痊 代 “localhost”。 


3. 查 询 数 据 


先 使 用 mysql_query() 函 数 向 MySQL 发 送 查 询 或 命令 。 然 后 使 用 mysql_fetch_array 函 数 返回 数据 。 


示例 test_select.php 语 句 如 下 。 


<html> 

<head> 

<title>Selecting MySQL Database</title> 

</head> 

<body> 

<?php 

$con = mysql connect ("127.0.0.1","garychen", "garychen"); 
if (!$con) 一 


die ('Could not connect: ' . mysql error()); 
} 
mysql_ select db ("employees", $con); 
$result = mysql query ("select * from departments"); 
while ($row = mysql fetch array ($result)) 
{ 
echo $row['dept no'] . 
echo "<br />"; 
mysql_close ($con) 
2 
</body> 
</html> 


. $row['dept name']; 


上 面 这 个 例子 在 $result 变量 中 存放 了 由 mysql_query() 函 数 返回 的 数据 。 接 下 来 ， 使 用 mysql_fetch_array0 函 数 以 数组 的 形式 从 记录 集 返 回 第 一 行 。 随 后 对 于 mysq|_fetch_array() 函 数 的 每 个 调用 都 
返回 记录 集中 的 下 一 行 。while loop 语 句 会 循环 记录 集中 的 所 有 记录 。 为 了 输出 每 行 的 值 ， 这 里 使 用 了 PHP 的 $row 变量 ($row['dept_no'] 和 $row['dept_name']) 。 


4. 使 用 MySQLi 查 询 数 据 


首先 新 建 连接 (new mysqli) ， 然 后 预 处 理 查询 语句 (使 用 prepare 方 法 ) ， 执 行 这 个 语句 (使 用 execute 方 法 ) ， 最 后 ， 把 结果 集 的 列 绑 定 到 两 个 变量 (使 用 bind_result 方 法 ) ， 并 获取 实际 数 
(使 用 fetch 方 法 ) ， 打 印 输出 。 


示例 test_select2.php 语 句 如 下 。 


<html> 

<head> 

<title>select table</title> 
</head> 

<body> 

<?php 

$host="127.0.0.1"™; 
S$port=3306; 
$socket=""; 

$user="garychen"; 

$password="garychen"; 

$dbname="employees"; 

$con = new mysqli ($host, $user, S$password, $dbname, $port, $socket) 


or die ('Could not connect to the database server' 
echo 'connect to employees database successfully'; 
echo "<br />"; 
echo "select departments table"; 
echo "<br />"; 
$query = "select * from departments"; 
if ($stmt = $con->prepare ($query)) { 
$stmt->execute () 7 
$stmt->bind result ($field1，$field2) 7 
while ($stmt->fetch()) { 
printf ("%s, %s\n", $fieldl, $field2); 
echo "<br />"; 


} 
$stmt->close () 7 
} 
$con->close () 7 
2 
</body> 
</html> 


. mysqli connect error()); 


5. 插 入 记录 


类 似 SELECT 查 询 ， 先 连接 数据 库 (使 用 mysql_connect 函 数 ) ， 然 后 选择 数 


示例 test_insert.php 语 句 如 下 。 


<html> 

<head> 

<title>Insert records</title> 

</head> 

<body> 

<?php 

$con = mysql_connect ("127.0.0.1","garychen", "garychen"); 
1 (tScoon) 


die('Could not connect: ' . mysql error()); 
} 
mysql select db ("employees", $con); 


居 库 (使 用 mysql_select_db 函 数 ) ， 最 后 发 送 INSERT 语 句 给 MySQL (使 用 mysql_query 函 数 ) 。 


$sql="INSERT INTO employees (emp no, birth date, first name,last name,gender,hire date) 


VALUES (500000,'1990-08-01','Peter', 'wang™, 'M','2011-11-11')"; 


if (!mysql query ($sql, $con)) 
{ 


die ('Error: ' . mysql error()); 
} 
echo "1 record added"; 
mysql_close ($con); 
?> 


</body> 
</html> 


6. 使 用 MySQLi 揪 入 记录 


新 建 连接 (new mysqli) ， 然 后 使 用 mysqli_query 方 法 操作 数据 库 ， 执 行 查询 。 


示例 test_insert2.php 语 句 如 下 。 


<html> 

<head> 

<title>insert records</title> 
</head> 

<body> 

<?php 
$host="127.0.0.1"™; 
$port=3306; 
$socket=""; 
$user="garychen"; 
$password="garychen"; 
$dbname="employees"; 


$con = new mysqli ($host, $user, $password, $dbname, $port, $socket) 


or die ('Could not connect to the database server' 
echo 'connect to employees database successfully'; 
echo "<br />"; 


. mysqli connect error()); 


$sql="INSERT INTO employees (emp_no, birth date, first name,last name,gender,hire date) 
VALUES (500003,'1990-09-01','Peter', 'zhang', 'M','2011-12-12')"; 


if (!mysqli query ($con,$sql)) 
die('Error: ' . mysqli error($con)); 


echo "1 record added"; 
$con->close (); 

?> 

</body> 

</html> 


更 新 数据 和 删除 语句 的 操作 这 里 不 再 歼 述 ， 大 家 可 参考 如 下 链接 。 


关于 MySQL: http://www.tutorialspoint.com/php/mysql_update_php.htm 


关于 MySQLi: http://www.w3schools.com/php/php_mysql_update.asp 


3.4.5 ”PHP 数 据 库 开发 建议 


字 ， 


验 。 


对 于 开发 人 员 来 说 ， 了 解数 据 流 和 生产 环境 的 物理 部 署 是 很 重要 的 ， 开 发 人 员 不 应 该 


局 限于 自己 的 领域 。 


能 够 熟练 查阅 MySQL 官 方 文档 ， 虽 然 研发 人 员 不 必 熟 悉 MySQL 的 每 一 个 细节 ， 但 要 善于 查找 资料 ， 找 到 答案 ， 一 般 我 们 经 历 的 问题 都 是 可 以 从 文档 或 网 络 中 找到 答案 的 。 


注意 安全 问题 ， 防 止 SQL 注入 、 跨 站 脚本 攻击 等 恶意 攻击 。 详 细 内 容 可 参考 4.2 节 “权限 机 制 和 安全 ”。 


阅读 源码 ， 了 解 它们 是 如 何 访问 数据 的 。 一 些 网 站 ， 如 sourceforge 提 供 了 许多 优秀 的 


注重 用 户 体验 ， 数 据 库 的 访问 优化 ， 往 往 和 用 户 体验 相关 。 如 果 要 访问 数据 库 或 数据 接口 
重 载 整个 页 面 查询 很 多 数据 。 比 如 地 匿 


那么 查询 时 可 能 就 只 需要 检索 小 部 分 数据 ， 而 不 


要 有 性 能 分 析 器 ， 如 果 想 要 开发 高 质量 的 程序 ， 那 么 需要 对 自己 的 程序 进行 分 析 ， 特 别 是 对 于 数 


[由 该 书 第 4 版 由 机 械 工 业 出 版 社 2009 年 出 版 ， 书 号 为 978-7-111-26281-7。 


编辑 注 


原 码 。 


， 优 化 的 方式 不 外 乎 两 个 ， 或 者 减少 对 数据 的 访问 ， 或 者 让 查询 执行 得 更 快 。 比 如 一 些 大 页 面 只 改动 了 几 行 


;从 


而 


加 载 部 分 块 区 域 ， 而 不 是 整个 图 重新 绘制 。 比 如 翻 页 ， 传 统 的 一 些 算法 效率 往往 很 差 ， 影 响 用 户 体 


局 库 访问 的 分 析 ， 比 如 记录 数据 库 性 能 访问 日 志 。 一 些 工具 也 有 助 于 分 析 网 站 的 响应 ， 如 firebug。 


3.5 家 5| 


3.5.1 索引 介绍 


数据 库 索引 ， 是 数据 库 管 理 系统 中 一 个 排序 的 数据 结构 ， 用 于 协助 快速 查询 、 更 新 数据 库 表 中 的 数据 。 它 类 似 于 书本 上 的 索引 ， 通 过 索引 可 以 更 便捷 地 找到 书 里 面 的 内 容 而 不 需要 查阅 整 本 书 。 对 于 海 
量 数据 的 检索 ， 索 引 往 往 是 最 有 效 的 。 


目前 MySQL 主 要 支持 的 几 种 索引 有 : B 树 索引 (B-tree) 、 散 列 索 引 (hash) 、 空 间 索 引 (R-tree) 和 全 文 索引 (full-text) 。 如 果 没有 特别 指明 ， 本 书 指 的 就 是 B-Tree 索 引 。 由 于 索引 是 在 存储 引擎 
层 实现 的 ， 所 以 不 同 的 存储 引擎 的 索引 实现 会 有 一 些 差异 。 以 下 所 述 的 是 一 些 较 通 用 的 索引 知识 。 


逻辑 上 又 可 以 分 为 : 单列 索引 、 复 合 索引 (多 列 索 引 ) 、 唯 一 (Unique) 索引 和 非 唯 一 (Non Unique) 索引 。 


如 果 索 引 键 值 的 逻辑 顺序 与 索引 所 服务 的 表 中 相应 行 的 物理 顺序 相同 ， 那 么 该 索引 被 称 为 篮 索 引 (cluster index) ,也 称 为 聚集 索引 、 聚 簇 索 引 ， 也 就 是 说 数据 和 索引 (B+ 树 ) 在 一 起 ， 记 录 被 真实 地 
保存 在 索引 的 叶子 中 ， 簇 索引 也 称 为 索引 组 织 表 ， 反 之 为 非 聚集 索引 。 我 们 常用 的 InnoDB 表 其 实 使 用 的 就 是 聚集 索引 。 


簇 索 引 是 一 个 很 重要 的 概念 ，InnoDB 作 为 最 常 使 用 的 引擎 ， 只 有 在 熟悉 了 它 的 数据 存储 方式 之 后 ， 才 可 能 有 针对 性 地 对 它 进行 调 优 。 


簇 索 引 的 一 些 优点 如 下 。 


: 将 相关 的 的 数据 保持 在 一 起 ， 叶 子 节点 内 可 保存 相 邻 近 的 记录 。 


“ 因为 索引 和 数据 存储 在 一 起 ， 所 以 查找 数据 通常 比 非 仁 索引 更 快 。 由 于 主键 是 有 序 的， 很 显然 ， 对 于 InnoDB 表 ， 最 高 效 的 存 取 方 式 是 按 主 键 存 取 唯 一 记录 或 进行 小 范围 的 主键 扫描 。 


如 果 充分 利用 簇 索引 ， 它 可 以 极 大 地 提升 性 能 但 簇 索 引 也 有 许多 不 足 之 处 。 


. 铸 农 引 对 I/O 密 集 型 的 负荷 性 能 提升 最 佳 ， 但 如 果 数 据 是 在 内 存 中 (访问 次 序 不 怎么 重要 ) ， 那 么 猴 索 引 并 没有 明显 益处 。 
. 插入 操作 很 依赖 于 插入 的 顺序 ， 按 primary key 的 顺序 插入 是 最 快 的 。 

. 更 新 继 家 引 列 的 成 本 比较 高 ， 因 为 InnoDB 不 得 不 将 更 新 的 行 移动 到 新 的 位 置 。 

. 全 表 扫描 的 性 能 不 佳 ， 尤 其 是 数据 存储 得 不 那么 紧密 时 ， 或 者 因为 页 分 裂 (page split) 而 导致 物理 存储 不 连续 。 


“ 二 级 索引 的 叶 节 点 中 存储 了 主键 索引 的 值 ， 如 果 主键 采用 的 是 较 长 的 字符 ， 那 么 索引 可 能 会 很 大 ， 且 通过 二 级 索引 查找 数据 也 需要 进行 两 次 索引 查找 。 


3.5.2 ”使 用 索引 的 场景 及 注意 事项 


1. 何 种 查询 可 以 应 用 索引 


(1) MySQL 目 前 仅 支 持 前 导 列 


筛选 记录 的 条 件 应 能 组 成 复合 索引 最 左边 的 部 分 ， 即 按 最 左前 缀 的 原则 进行 筛选 。 随 着 日 后 技术 的 发 展 ，MySQL 或 许 能 够 更 有 效率 地 利用 复合 索引 多 字段 中 的 非 前 导 列 信息 。 


下 面 来 看 个 例子 ， 对 于 如 下 的 复合 索引 idx_ a_b_c: 


CREATE INDEX idx a b c ON tbl (a,b,c); 


只 有 使 用 如 下 条 件 才 可 能 应 用 到 这 个 复合 索引 。 


WHERE a=? 
WHERE a=? AND b=? 

WHERE a=? AND b=? AND c=? 

WHERE a=? AND c=? # 注 意 这 个 查询 仅仅 利用 了 MySQL 索 引 的 a 列 信息 


(2) 索引 列 上 的 范围 查找 


在 对 某 个 条 件 进 行 范围 查找 时 ， 如 果 这 个 列 上 有 索引 ， 且 使 用 的 是 WHERE...BETWEEN..AND.…、>、< 等 范围 操作 符 时 ， 那 么 可 能 就 会 用 到 索引 范围 查找 。 一 般 应 该 避免 大 范围 的 索引 范围 查找 ， 如 果 
索引 范围 查找 的 成 本 太 高 ， 那 么 数据 库 可 能 会 选择 全 表 扫 描 的 方式 。 


@;t 意 IN(http:/ /www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/.…) 并 不 属于 范围 查找 的 范畴 。 


(3) JOIN 列 


中 id 为 主键 ， 若 a 表 是 驱动 表 ， 那 么 数据 库 可 能 全 表 扫描 a 表 ， 并 用 a 表 的 每 个 id 去 探测 b 表 的 索引 


在 联合 查询 两 个 表 时 ， 比 如 查询 语句 为 “SELECT a.col1,b.col2 FROM a JOIN b ON a.id=b.id” ， 
查找 匹配 的 记录 。 


(4) WHERE 子 句 


WHERE 子 句 的 条 件 列 是 复合 索引 前 面 的 索引 列 再 加 上 紧 跟 的 另 一 个 列 的 范围 查找 。 


比如 ， 对 于 如 下 的 复合 索引 idx a_b_c_d: 


CREATE INDEX idx a b c d ON tbl(a,b,c,d); 


只 有 使 用 如 下 条 件 才 可 能 应 用 到 这 个 复合 索引 。 


AND c > 10000; 
AND c=? AND d<10000; 


WHERE a=? AND 


b=? 
WHERE a=? AND b=? 


@@ 注 总 MyYSQL 索 引 仅 支持 最 近 一 个 范围 的 查询 。 也 就 是 说 ，MySQL 使 用 最 左边 的 前 级 ， 一 直到 碰 到 第 一 个 范围 的 查找 条 件 为 止 。 


对 于 复合 索引 idx_a_b_c_d， 我 们 来 看 如 下 的 两 个 查询 。 


WHERE a=? AND b=? AND c > 10000 AND d<100000; 


上 面 的 例子 中 ，d<100000 这 个 筛选 操作 并 不 会 走 索 引 。 


WHERE a>? AND b=? AND c= 10000 AND d = 100; 


上 面 的 例子 中 ，a 列 上 有 范围 查找 ， 那 么 b、c、(d 等 列 上 的 索引 信息 将 都 不 能 被 利用 。 


即 对 于 复合 索引 ， 如 果 某 部 分 索引 已 经 用 到 了 范围 查找 ， 那 么 这 个 列 之 后 的 索引 信息 将 不 能 被 利用 。 


所 以 如 果 想 要 创建 索引 ， 应 该 考虑 把 复合 索引 的 范围 查找 列 放 到 最 后 。 


(5) MySQL 优 化 器 


MySQL 优 化 器 会 做 一 些 特殊 优 化 ， 比 如 对 于 索引 查找 MAX (索引 列 ) ， 那 么 可 以 进行 直接 定位 ， 在 EXPLAIN 输 出 的 Extra 信 息 里 可 以 看 到 语句 “Select tables optimized away”， 意 思 是 这 个 查询 所 
包含 的 MIN、MAX 操 作 可 以 直接 利用 索引 信息 来 解决 ， 而 不 需要 去 检索 物理 记录 。 优 化 器 确定 只 需要 返回 一 行 结果 即 可 。 


2. 注 意 事项 和 建议 


1) WHERE 条 件 中 的 索引 列 不 能 是 表达 式 的 一 部 分 ，MySQL 也 不 支持 函数 索引 。 


2) InnoDB 的 非 主 键 索引 存储 的 不 是 实际 记录 的 指针 ， 而 是 主键 的 值 ， 所 以 主键 最 好 是 整 型 值 ， 如 自 增 ID， 基 于 主键 存 取 数 据 是 最 高 效 的 ， 使 用 二 级 索引 存 取 数 据 则 需要 进行 两 次 索引 查找 。 


3) 最 好 是 按 主键 的 顺序 导入 数据 ， 如 果 导 入 大 量 随 机 id 的 数据 ， 那 么 可 能 需要 运行 OPTIMIZE TABLE 命 令 来 优化 表 。 


4) 索引 应 尽量 是 高 选择 性 的 ， 而 且 需 要 留意 “基数 (cardinality) ” 值 ， 基 数 指 的 是 一 个 列 中 不 同 值 的 个 数 ， 显 然 ， 最 大 基数 意味 着 该 列 中 的 每 个 值 都 是 唯一 的 ， 最 小 基数 意味 着 该 列 中 的 所 有 值 都 是 
相同 的 。 索 引 列 的 基数 相对 于 表 的 行 数 较 高 时 (也 就 是 说 重复 值 更 少 ) ， 索 引 的 工作 效果 更 好 。 


一 些 基数 很 小 的 列 ， 如 性 别 可 能 就 不 适合 建立 索引 。 也 存在 这 样 一 种 特殊 的 情况 ， 有 些 列 虽 然 基 数 很 小 ， 但 由 于 数据 分 布 很 不 均匀 因此 也 会 导致 某 些 值 的 记录 数 很 少 ， 那 么 这 种 情况 也 适合 创建 索引 加 
速 查找 这 部 分 数据 。 


5) 使 用 更 短 的 索引 。 可 以 考虑 前 缀 索引 ， 前 缀 索引 仅 索引 前 面 一 部 分 字符 ( 值 )， 但 应 确保 所 选择 的 前 缀 的 长 度 可 以 保证 大 部 分 值 是 唯一 的 。 


示例 如 下 


ALTER TABLE test.testl ADD KEY (col (6)) 


如 下 的 SQL 稀 量 了 不 同 前 缀 索引 的 唯一 值 比例 。 


SELECT COUNT (DISTINCT LEFT (col name, 3))/COUNT(*) RS sel3, 
COUNT (DISTINCT LEFT(col name, 4))/COUNT(*) RS sel4， 
COUNT (DISTINCT LEFT (col name, 5))/COUNT(*) RS sel5, 
COUNT (DISTINCT LEFT (col name, 6))/COUNT(*) RS sel6, 
COUNT (DISTINCT LEFT (col name, 7))/COUNT(*) RS sel7 
FROM table name; 


6) 索引 太 多 时 可 能 会 浪费 空间 ， 且 降低 修改 数据 的 速度 。 所 以 ， 不 要 创建 过 多 的 索引 ， 也 不 要 创建 重复 的 索引 。MySQL 人 允许 在 同样 的 列 上 创建 多 个 索引 而 不 会 提示 报错 ， 一 些 其 他 分 支 的 版 本 有 统计 
信息 可 以 甄别 出 没有 被 使 用 的 索引 。 而 对 于 官方 版 本 ， 你 可 能 需要 借助 工具 清理 掉 过 多 的 重复 索引 。 


7) 如 果 是 唯一 值 的 列 ， 创 建 唯一 索引 会 更 佳 ， 也 可 以 确保 不 会 出 现 重复 数据 。 


8) 使 用 覆盖 索引 (covering index) 也 可 以 大 大 提高 性 能 。 


所 谓 “ 履 盖 索 引 ” 是 指 所 有 数据 都 可 以 从 索引 中 得 到 ， 而 不 需要 去 读 取 物 理 记录 。 例 如 某 个 复合 索引 idx_a_b_c 建 立 在 表 tb1 的 a、b、c 列 上 ， 那 么 对 于 如 下 的 SQL 语句 


select arb from tbl where a=? and b=? and c=?7 


MySQL 可 以 直接 从 索引 idx_a_b_c 中 获取 所 有 数据 。 使 用 覆盖 索引 也 可 以 避免 第 2 点 所 说 的 二 次 索引 查找 。 


在 EXPLAIN 命 令 输出 的 查询 计划 里 ， 如 果 Extra 列 是 “using index”， 那 就 表示 使 用 的 是 覆盖 索引 。EXPLAIN 的 使 用 在 下 节 详 述 。 


9) 利用 索引 来 排序 。MySQL 有 两 种 方式 可 以 产生 有 序 的 结果 。 一 种 是 使 用 文件 排序 (filesort) 来 对 记录 集 进行 排序 ， 另 一 种 是 扫描 有 序 的 索引 。 我 们 应 尽量 利用 索引 来 排序 。 


在 文件 排序 方式 中 ， 由 于 没有 可 以 利用 的 有 序 索 引 来 取得 有 序 的 数据 ， 因 此 MySQL 只 能 将 取得 的 数据 在 内 存 中 进行 排序 ， 然 后 再 将 数据 返回 给 客户 端 。 使 用 文件 排序 的 方式 ， 对 小 结果 集 进行 排序 会 很 
快 ， 但 是 如 果 是 对 大 量 的 数据 排序 ， 速 度 将 会 很 慢 。 此 外 ， 还 有 如 下 注意 事项 。 


“ 尽量 保证 索引 列 和 ORDER BY 的 列 相 同 ， 且 各 列 均 按 相同 的 方向 排序 。 


“ 如 果 要 连接 多 张 表 ， 那 么 ORDER BY 引用 的 列 需 要 在 表 连 接 的 顺序 的 首 张 表 内 。 


如 果 不 满足 以 上 条 件 ， 则 不 能 利用 索引 进行 排序 ， 那 么 MySQL 将 使 用 文件 排序 ， 可 以 用 EXPLAIN 工 具 确 认 查 询 是 否 使 用 了 文件 排序 ， 文 件 排序 是 一 个 成 本 比较 高 的 操作 ， 应 尽量 避免 。 利 用 索引 来 排序 
同样 要 遵循 最 左前 缀 的 规则 ， 前 导 列 (等 于 确定 值 ) 加 上 排序 列 (ORDER BY 的 列 ) 可 以 组 合成 最 左前 缀 的 也 行 。 比 如 ， 对 于 创建 在 表 table1 上 的 复合 索引 idx_a_b c (创建 在 列 a、b、c 上 ) : 


SELECT * FROM tablel ORDER BY a,b,c; 
SELECT * FROM tablel WHERE a=? AND b=? ORDER BY c; 


以 上 查询 都 可 以 利用 有 序 索 引 来 加 速 检索 数据 。 


10) 添加 元 余 索 引 ， 需 要 权衡 。 


什么 是 元 余 索引 ? 如 果 已 有 一 个 索引 (columnA) ， 那 么 一 个 新 的 索引 (columnA，columnB) 就 是 元 余 索 引 ， 因 为 后 面 的 索引 包含 了 前 面 索 引 的 所 有 信息 。 


元 余 索 引 一 般 发 生 在 添加 索引 的 时 候 ， 有 些 人 可 能 会 选择 添加 一 个 新 索引 (columnA，columnB) ， 而 不 是 更 改 原来 的 (columnA) 为 (columnA，columnB) 。 一 般 来 说 ， 应 该 扩展 原来 的 索引 ， 
而 不 是 添加 新 的 索引 。 但 在 某 些 情况 下 ， 因 为 扩展 索引 会 导致 索引 变 得 非常 大 ， 比 如 原来 的 索引 是 创建 在 一 个 整 型 列 上 的 ， 要 是 再 添加 一 个 很 长 的 字符 列 ， 那 么 索引 会 变 得 很 大 ， 从 而 影响 性 能 。 这 种 情况 
下 ， 可 能 不 得 不 选择 添加 新 的 复合 索引 ， 保 留 原来 的 索引 ， 这 样 做 的 不 利之 处 是 增加 了 索引 维护 的 开销 ， 而 且 一 个 新 的 索引 也 需要 占据 内 存 空间 。 


3.5.3 ”索引 的 错误 用 法 


以 下 是 生产 环境 中 常 犯 的 一 些 错误 ， 而 且 由 于 表 结构 不 易 调 整 ， 因 此 往往 会 导致 严重 的 性 能 影响 。 


1) 创建 了 太 多 的 索引 或 无 效 的 索引 。 比 如 在 WHERE 条 件 的 每 个 列 上 都 建立 单独 的 索引 ， 当 单个 索引 效率 不 高 的 时 候 ，MySQL 人 往往 就 会 选择 全 表 扫 描 ， 太 多 的 索引 可 能 会 导致 索引 所 占用 的 磁盘 空间 比 
实际 数据 还 大 得 多 。 


2) 对 于 复合 索引 ， 如 果 不 考 虑 ORDER BY、GROUP BY 这 样 的 一 些 操作 ， 那 么 把 最 具 选 择 性 的 列 放 在 前 面 是 合适 的 ， 复 合 索引 主要 用 于 优化 WHERE 查找 。 但 如 果 是 排序 之 类 的 操作 ， 把 最 具 选 择 性 的 
列 放 在 前 面 则 不 一 定 最 有 效 ， 因 为 避免 随机 I/O 和 排序 可 能 才 是 我 们 更 值得 考虑 的 。 


3) 忽略 了 值 的 分 布 。 某 些 值 只 有 少量 记录 ， 查 询 对 这 些 值 的 筛选 执行 就 会 很 快 ， 而 某 些 值 即使 经 过 了 索引 筛选 ， 满 足 条 件 的 仍然 还 有 大 量 的 记录 ， 这 样 索 引 效 果 就 会 很 差 。 一 般 来 说 ， 数 据 表 内 值 的 分 
布 应 该 尽量 均匀 ， 由 于 MySQL 的 统计 信息 不 完善 ， 数 据 分 布 不 均匀 很 可 能 会 产生 很 差 的 执行 计划 ， 导 致 严重 的 性 能 问题 。 


4) InnoDB 主 键 过 长 ， 导 致 二 级 索引 过 大 。 主 键 的 选择 ， 一 般 建议 是 整 型 。 


以 上 介绍 了 索引 的 使 用 规则 和 建议 。 接 下 来 介绍 EXPLAIN 工 具 。 互 联网 应 用 的 开发 ， 索 引 的 调整 往往 是 调 优 的 一 个 重点 ， 特 别 是 对 数据 库 技术 不 熟练 的 团队 ， 在 数据 量 增长 后 可 能 会 磁 到 各 种 性 能 问 
题 ， 这 通常 是 因为 索引 不 佳 而 引起 的 。EXPLAIN 工 具 的 应 用 不 局 限于 索引 的 检查 ， 但 由 于 它 和 索引 关系 密切 ， 下 面 将 详细 介绍 下 此 工具 。 


3.5.4 如 何 使 用 EXPLAIN 工 具 


无 论 是 做 研发 还 是 DBA， 都 有 必要 学 会 EXPLAIN 工 具 的 使 用 。 使 用 EXPLAIN 工 具 可 以 确认 执行 计划 是 否 良好 ， 查 询 是 否 走 了 合理 的 索引 。 不 同 版 本 的 MySQL 优 化 器 各 有 不 同 ， 一 些 优化 规则 随 着 版 本 
的 发 展 可 能 会 有 变化 ， 查 询 的 执行 计划 随 着 数据 的 变化 也 可 能 会 有 变化 。 对 于 这 类 情况 可 以 使 用 EXPLAIN 来 验证 自己 的 判断 。 


以 下 是 对 EXPLAIN 工 具 的 使 用 说 明 。 我 们 首先 来 介绍 一 下 MySQL 执 行 计划 的 调用 方式 ， 然 后 对 执行 计划 显示 的 内 容 进行 解读 ， 最 后 来 说 一 说 MySQL 执 行 计划 的 局 限 。 


1.MySQIL 执 行 计划 调用 方式 


我 们 使 用 EXPLAIN 命 令 查看 执行 计划 ， 语 法 形式 类 似 如 下 语句 。 


EXPLAIN SELECT…… 


EXPLAIN 命 令 还 有 如 下 两 种 变 体 。 


1) EXPLAIN EXTENDED SELECT...... 


以 上 命令 将 执行 计划 “ 反 编译 ”成 SELECT 语 句 ， 运 行 SHOW WARNINGS 可 得 到 被 MySQL 优 化 器 优化 后 的 查询 语句 。 


2) EXPLAIN PARTITIONS SELECT...... 


以 上 命令 用 于 分 区 表 的 EXPLAIN 命 令 。 


2 执行 计划 包含 的 信息 及 解读 
如 下 是 一 个 显示 执行 计划 的 例子 。 


musql> explain 
-> Select d1.co12，t2.col1 
-> from (select co12，Cco13 
= from t1 
-> where col1 in (ab’,'ac’)) d1, t2 
-> where d1.col2 = t2.c011 
-> group by d1-co12，t2-.col1 
-> order by t2.id; 

+ 


一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一- 一 -一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 人 一 一 一 一 一 一 竺 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 去 
| id | select type | table | type | possible keys | key | key len | ref | rows | Extra 1 
条 一 一 一 一 包 一 一 一 一 一 一 一 一 一 一 一 一 一 节 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 $4--—- 一 一 一 一 -一 志 一 一 一 一 一 一 一 一 一 一 一 -一 $+--—------- #4---- 一 -一 一 年 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 # 
| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 286 | Using temporary; Using filesort | 
| 1 | PRIMARY | t2 | ref | idx col1 col2 | idx_col1 col2 | 195 1 d1.col2 | 45 | Using where; Using index | 
| 2 1 DERIUED | ti | range | idx col1 col2 col3 | idx col1 col2 col3 | 13 | NULL | 285 | Using where; Using index | 
全 一 一 一 一 人 备 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 全 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 告 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 条 一 一 一 一 一 一 委 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 # 


3 rows in set (8.88 sec) 


该 例 中 EXPLAIN 命 令 的 输出 信息 可 以 告诉 我 们 MySQL 访 问 了 哪些 表 ， 以 及 它 是 如 何 访问 数据 的 。 里 面 有 很 重要 的 索引 使 用 信息 ， 我 们 可 以 据 此 判断 我 们 的 索引 是 否 需 要 优化 。 


下 面 将 详细 阐述 EXPLAIN 输 出 的 各 项 内 容 。 


一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 再 一 一 一 一 一 一 六 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 下 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 本 
| id | select type | table | type | possible keys | key | key len | ref | rows | Extra | 
二 一 一 一 一 全 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 和 # 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 和 # 一 一 一 一 一 一 一 4 


(1) id 
id 包含 一 组 数字 ， 表 示 查 询 中 执行 SELECT 子 句 或 操作 表 的 顺序 。 


如 果 id 相 同 ， 则 执行 顺序 由 上 至 下 ， 例 如 : 


musql> explain Select 七 2 .# 
-> from t1，t2，t3 
-> where t1.id = t2.id and t1.id = t3.id 
-> and ti.other column = "'; 


乔 一 一 一 一 在 一 一 一 一 一 一 一 一 一 一 一 一 一 过 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 二 一 一 重 一 一 一 一 一 一 一 一 一 一 一 党 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 时 一 一 一 一 一 一 sh se +4 
| id | select type | table | type | possible keys | key | key_len | ref | rows | Extra | 
hh 一- 和 一 dh Db 2-m_- 二 二 一 时 +4 
| 1 | SIMPLE [LE | ref | PRIMARY,idx_t1 | idx_t1 | 92 | const | 1 | Using where | 
| 1 | SIMPLE | t3 | eq_ref | PRIMARY | PRIMARY | 4 | testt1.ID | 1 | Using index | 
| 1 | SIMPLE [tz | eq_ref | PRIMARY | PRIMARY | 与 | test.t1.ID | | | 
竹 一 一 一 一 本 一 一 一 一 一 一 一 一 一 一 一 一 一 音 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 得 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 4# 
3 rows in set (8.88 sec)| 
如 果 是 子 查询 ，id 的 序号 会 递增 ，id 值 越 大 则 优先 级 越 高 ， 越 先 被 执行 。 例 如 : 
mysql> explain SELECT 2 -=* 
-> FROM t2 
-> WHERE id = (SELECT id 
= FROM t1 
"> WHERE id = (SELECT t3.id 
=》 FRON t3 
-> WHERE t3.0ther column = "'")); 
一 一 一 一 午 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 和 
| id | select type | table | type | possible keys | key | key len | ref | rows | Extra | 
一 一 一 一 竺 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 人 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
| 1 | PRIMARY | t2 | const | PRIMARY | PRIMARY | 坟 | const | | | 
| 2 1 SUBQUERY | t1 | const | PRIMARY | PRIMARY | 身 | | 1 | Using index | 
| 3 | SUBQUERY | t3 | ALL | NULL | NULL | NULL | NULL | 1 1 Using where | 
二 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 专 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 全 一 一 一 一 一 一 上 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
3 rows in set (0.86 sec) 
如 果 id 相 同 ， 则 可 以 认为 它们 是 一 组 ， 从 上 往 下 顺序 执行 。 在 所 有 组 中 ，id 值 越 大 ， 优 先 级 就 越 高 ， 越 先 执行 。 例 如 : 
musql> explain select t2-<* from ( 
-> select t3.id 
-> from t3 
-> where t3.0ther_ column = "") s1, t2 
-> where si1.id = t2.id; 
专 一 一 一 一 皮 一 一 一 一 一 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 4 一 一 --—— 和 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 和 4 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
| id | select type | table | type | possible keys | key | key_len | ref | rows | Extra | 
+ 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 +- 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| 1 | PRIMARY | <derived2> | system | NULL | NULL | NULL | NULL | 1 1 | 
| 1 | PRIMARY EL 2 | const | PRIMARY | PRIMARY | 4 | const | 1 1 | 
| 2 | DERIUED | t3 | ALL | NULL | NULL | NULL | NULL | 1 | Using where | 
二 一 一 一 一 此 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 党 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 4 


3 rows in set {8.88 sec) 


(2) select type 


select_ type 表示 查询 中 每 个 SELECT 子 句 的 类 型 (是 简单 还 是 复杂 ) 。 输 出 结果 类 似 如 下 : 


4 


select type | 


SIMPLE 1 
PRIMARY | 
SUBQUERY | 
DERIUED | 
UNION | 
UNION RESULT | 


中 一 一 中 中 


下 面 是 对 select_type 的 详细 说 明 。 

“ SIMPLE: 查询 中 不 包含 子 查询 或 UNION。 

“ 查询 中 若 包含 任何 复杂 的 子 部 分 ， 最 外 层 查询 则 被 标记 为 PRIMARY。 

“ 在 SELECT 或 WHERE 列表 中 若 包含 了 子 查询 ， 则 该 子 查询 被 标记 为 SUBQUERY。 

“ 在 FROM 列表 中 包含 的 子 查询 将 被 标记 为 DERIVED (衍生 ) 。 

“ 车 第 二 个 SELECT 出 现在 UNION 之 后 ， 则 被 标记 为 UNION; 若 UNION 包 含 在 FROM 子 句 的 子 查询 中 ， 则 外 层 SELECT 将 被 标记 为 DERIVED。 
. 从 UNION 表 中 获取 结果 的 SELECT 将 被 标记 为 UNION RESULT。 


下 面 我 们 通过 一 个 例子 来 说 明 查 询 的 类 型 和 执行 的 顺序 。 


mysql> explain select di.name, (select id from t3) d2 


-> from (Select id, name from t1 where other_column = ”“) di1 

-> union 

-> {select name, id from t2); 
条 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 重 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 +4 
| id | select type | table | type | possible keys | key | key _ len | ref | rows | Extra 
#4 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 委 一 一 一 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 季 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 一 一 4- 一 一 一 一 一 1 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 +# 
1 | PRIMARY | <derived3> | system | NULL | NULL | NULL | NULL | 1 | 
1| 3 | DERIUED | t1 | ALL | NULL | NULL | NULL | NULL | 1 | Using where | 
| 2 | SUBQUERY | t3 | index | NULL | PRIMARY | 与 | NULL | 1 | Using index | 
| 与 | UNION | t2 | ALL | NULL | NULL | NULL | NULL | 1 | 
| NULL | UNION RESULT | <union1,4> | ALL | NULL | NULL | NULL | NULL | NULL | 
专 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 + 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 +# 
5 rows in set (8.81 sec) 


第 一 行 : id 列 为 1， 表 示 第 一 个 SELECT，select_type 列 的 PRIMARY 表 示 该 查询 为 外 层 查询 ，table 列 被 标记 为 <derived3>， 表 示 查 询 结果 来 自 于 一 个 衍生 表 ， 其 中 3 代表 该 查询 衍生 自 第 3 个 SELECT 查 
询 ， 即 id 为 3 的 SELECT。 


第 二 行 : id 为 3， 表 示 该 查询 的 执行 次 序 为 2 (4 一 3) ， 是 整个 查询 中 第 3 个 SELECT 的 一 部 分 。 因 为 查询 语句 包含 在 FROM 子 句 中 ， 所 以 为 DERIVED。 


第 三 行 : SELECT 列表 中 的 子 查询 ，select type 为 SUBQUERY， 为 整个 查询 中 的 第 2 个 SELECT。 


第 四 行 : select type 为 UNION， 说 明 第 4 个 SELECT 是 UNION 里 的 第 2 个 SELECT， 最 先 执行 。 


第 五 行 : 代表 从 UNION 的 临时 表 中 读 取 行 的 阶段 ，table 列 的 <union1,4> 表 示 对 第 1 个 和 第 4 个 SELECT 的 结果 进行 UNION 操 作 。 


(3) type 


type 表 示 MySQL 在 表 中 找到 所 需 行 的 方式 ， 又 称 “ 访 问 类 型 ” ， 常 见 的 类 型 如 下 : 


十 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 至 一 一 一 一 一 一 一 到 一 一 一 一 一 十 一 一 一 一 一 一 一 一 此 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 到 一 一 一 一 一 一 二 
| ALL | index | range | ref | eq_ref | const, system | NULL | 
一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 


以 上 类 型 ， 由 左 至 右 ， 由 最 差 到 最 好 。 下 面 我 们 来 详 述 每 种 类 型 。 


ALL: Full Table scan，MySQL 将 遍历 全 表 以 找到 匹配 的 行 。 如 下 是 一 个 type 为 All 的 例子 。 


musql> explain select x from t1 where column without index = "'; 

4 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 得 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 +4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
| id ! select type ! table ! type ! possible keys | key | key len | ref | rows | Extra | 
和 一 一 一 一 上 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 + 一 一 一 一 一 一 +- 一 -一 -一 -一 -一 -一 一 一 4 一 一 一 一 一 一 和 4 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 和 #4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
| 党 | SIMPLE 1 t1 1 ALL 1 NULL | NULL | NULL | NULL | 516 | Using where | 
一 一 一 一 上 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 和 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
1 row in set (8.88 sec) 

index: Full Index Scan，index 与 ALL 区 别 为 index 类 型 只 遍历 索引 树 。 如 下 是 一 个 type 为 index 的 例子 。 

musql> explain select id From t1; 

专 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 二 一 一 一 一 一 一 一 一 一 上 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 重 

| id ! select type ! table ! type ! possible_ keys ! key | key len | ref | rows | Extra | 

村 一 一 一 一 直 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 了 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 和 # 一 一 一 一 一 一 者 一 一 一 一 一 一 一 一 一 一 一 一 一 # 

| 1 I SIMPLE | t1 | index 1 NULL | PRIMARY | 4 | NULL | 516 | Using index | 

专 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 症 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 者 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 二 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 和 4 
1 row in set (6.68 sec) 

range: 索引 范围 扫描 ， 对 索引 的 扫描 开始 于 某 一 点 ， 返 回 匹 配 值 域 的 行 ， 常 见于 between、<、> 等 的 查询 。 如 下 是 两 个 type 为 range 的 例子 。 

musql> explain SELECT x* FROMH t1 WHERE id between 38 and 68; 

专 一 一 一 一 此 一 一 一 一 一 一 一 一 一 一 一 一 一 和 4 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 坪 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4# 一 一 一 一 一 一 一 一 一 才 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 和 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 

| id 1 select type ! table ! type ! possible keys | key | key_ len | ref | rows | Extra 1 

圭一 一 一 一 皮 一 一 一 一 一 一 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 一 一 一 一 4# 

| | 1 SIMPLE I t1 I range I PRIMARY | PRIMARY | 4 | NULL | 31 | Using where | 

地 一 一 一 一 卡 一 一 一 一 一 一 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 者 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 和 4 

1 row in set (898.868 ee 

musql1> explain select x from t1 where id in (1, 2, 6); 

#4 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 

| id | select type | table | type | possible keys | key | key len | ref | rows | Extra | 

#4 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 # 一 一 一 一 一 一 4 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 一 一 一 一 得 

| 11 SIMPLE | t1 | range | PRIMARY | PRIMARY | 4 | NULL | 3 | Using where | 

和 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 得 一 一 一 一 一 一 一 一 一 4# 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 得 


1 row in set (6.88 sec) 


一 般 来 说 ， 索 引 范 围 扫 描 要 检索 的 记录 更 少 ， 因 而 成 本 也 更 低 。 大 量 的 索引 扫描 ， 可 能 还 会 导致 性 能 问题 。 例 如 ， 对 于 如 下 的 两 个 查询 ， 后 一 个 查询 需要 检索 的 记录 数 就 比 前 一 个 查询 多 得 多 (参考 


rows 列 ) 。 


59 explain select id from t1 where col1 in (〈'"ac',"ab','aa') and col2 = 'ac'; 
+ 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 专 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 二 
| id I select type ! table ! type ! possible keys | key | key len | ref | rows | Extra | 
+ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 + 一 一 一 -一 一 -+ 一 一 一 一 一 一 -一 -一 -一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 专 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 # 
| 1 1 SIMPLE i t1 | range | idx_col1_col2 | idx col1 col2 | 388 | NULL | 3 1 | 
十 一 一 一 一 站 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 二 
1 row in set (8-698 sec) 
Neda explain Seipet id from t1 where col1 > ‘aa' and col2 = "ac'; 
+-—-—-4-------------+------- 生 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 专 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 二 
| id i select type : table | type | possible keys | key | key len | ref | rows | Extra | 
专 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 
| 1 1 SIMPLE | t1 ! range ! idx col1 col2 ! idx col1 col2 | 194 | NULL | 299 | | 
二 一 一 一 一 委 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 个 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 二 
1 row in set (08.88 sec) 
ref: 非 唯一 性 索引 扫描 ， 将 返回 匹配 某 个 单独 值 的 所 有 行 。 常 见于 使 用 非 唯一 索引 或 唯一 索引 的 非 唯一 前 缀 进行 的 查找 。 如 下 是 type 为 ref 的 几 个 例子 。 
musql> create index idx col1 col2 on t1(col1,c012); 
Query OK, 18688 rows affected (8.15 sec) 
Records: 18688 Duplicates: @ Warnings: 8 
mysql> select count(distinct col1) from t1; 
4 一 一 一 一 一 一 一 一- 一 ----------- 4 
| count(distinct col1) | 
# 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 去 
I ?| 
志 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 # 
1 row in set {8.6806 sec) 
ed explain select 关 from t1 where col1 = "ac'; 
二 一 一 一 一 目 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 专 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 #4 
| id 1 select type 1 table | type ! possible keys | key | key_len ! ref ! rows | Extra | 
专 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 上 一 一 一 一 一 一 一 二 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 十 一 一 一 一 一 一 直 一 一 一 一 一 一 一 一 一 去 
| 1 1 SIMPLE | t1 i ref 1 idx_col1 col2 ! idx_col1_ col2 ! 194 I const I 284 ! | 
半 一 一 一 一 秆 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 者 一 一 一 一 一 一 才 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一- 一 一- 一 一 -+ 一- 一 一 -一 -一 -4 一- 一- 一 一 -+ 一 -一 -~-+- 一 -一 -一 一 一 一 和 # 
1 row in set (8.86 Sevy 
sq? explain select * from t1, t2 WHERE t1.col1 = t2.col1; 
二 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 条 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 重 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 4# 
| id I select type ! table ! type ! possible keys | key | key_ len | ref | rows | Extra | 
-+--—-—--—--------+-------+------+#--------------- 4- 一 -一 一 #4- 一- 一 一 一 -一 党 一 一 一 一 一 一 一 一 一 一 一 一 一 一 所 
| Be | SIMPLE 1 t2 1 ALL 1 NULL | NULL | NULL | NULL | 639 | | 
| 1 | SIMPLE | t1 | ref | idx col1 col2 | idx col1 col2 | 195 | shared.t2.col1 | 55 1 | 
所 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 十 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 村 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 十 
2 rows in set (8.996 sec) 
mysql> explain 全 关 from t1, t2 WHERE t1-col1 = t2.col1 AND t1-col2 = ‘ac'; 
二 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 二 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 者 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 重 一 一 一 一 一 一 一 一 到 
| id | select type i table | type | possible keys | key | key_len | ref | rows | Extra | 
二 一 一 一 一 条 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 二 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 于 
| 1 | SIMPLE [2 | ALL | NULL | NULL | NULL | NULL | 639 1 1 
| 11 SIMPLE 1 二 | ref | idx_col1_col2 | idx_col1 col2 | 399 | shared.t2.col1,const | 45 | | 
$4-—--#+------------- $4- 地 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 才 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 二 
2 rows in set (8.88 sec) 
eq_ref: 唯一 性 索引 扫描 ， 对 于 每 个 索引 键 ， 表 中 只 有 一 条 记录 与 之 匹配 。 常 见于 主键 或 唯一 索引 扫描 。 如 下 是 type 为 eq_ref 的 一 个 例子 。 
2 > explain select # from t1, t2 where t1.id = t2.id; 
#4-——-*------------- $+---—---- 专 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 忆 一 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 一 季 一 一 一 一 一 一 生 一 一 一 一 一 一 一 #4 
| id 和 select type | table | type | possible keys | key | key_len | ref | rows | Extra | 
十 一 一 一 一 目 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 和 一 一 一 一 一 一 一 二 
| 1 | SIMPLE LL 从 | ALL | PRIMARY | NULL | NULL | NULL | 639 | | 
| 1 | SIMPLE | t1 | eq_ref | PRIMARY | PRIMARY | #4 | shared.t2.I1D | 1 1 | 
专 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 午 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 二 一 一 一 一 一 一 一 + 


2 rows in set (6.88 sec) 


const、system: 当 MySQL 对 查询 的 某 部 分 进行 优化 ， 并 转换 为 一 个 常量 时 ， 可 使 用 这 些 类 型 进行 访问 。 如 将 主键 置 于 WHERE 列表 中 ，MySQL 就 能 将 该 查询 转换 为 一 个 常量 。system 是 const 类 型 的 
特例 ， 当 查询 的 表 只 有 一 行 的 情况 下 ， 即 可 使 用 system。 如 下 是 type 为 const 和 system 的 一 个 例子 。 


musql> explain select x from {select x from t1 where id = 1) d1; 


专 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 4 
| id | select type | table | type ! possible keys | key | key len | ref | rows | Extra | 
4 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 季 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 
| 1 | PRIMARY | <derived2> | systen 1 NULL | NULL | NULL | NULL | 人 | 
| 2 | DERIVED | t1 | const | PRIMARY | PRIMARY | #4 | | 1 1 | 
一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 +t- 一 一 一 一 一 -一 一 一 一 一 专 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 专 一 一 一 一 一 一 #4- 一 一 一 一 一 一 去 


2 rows in set (086.868 sec) 


NULL: MySQL 在 优化 过 程 中 分 解 语句 ， 执 行 时 甚至 不 用 访问 表 或 索引 。 如 下 是 type 为 NULL 的 一 个 例子 。 


musql>》 explain extended select < from t1 where id = (select mde) Suen t23s 


才 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 和 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| id | select type | table | type | possible keys | key | key_len 1 ref | rows | filtered | Extra | 
二 一 一 一 一 务 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 4 
| 1 | PRIMARY | t1 | const | PRIMARY | PRIMARY | 4 | const | 1 1 1966-99 | | 
| 2 | SUBQUERY | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | | 
二 一 一 一 一 务 一 一 一 一 一 一 一 一 一 一 一 一 一 上 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 地 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
2 rows in set, 1 warning (8.88 sec) 

mysql> show warnings; 

和 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 # 

| Level | Code | Message | 

#4— 一 一 一 一 一 一 #4 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 # 

| Note | 1683 | select ‘1° AS “ID ,hu' AS “col1 ,dba’ AS “col2”from ‘shared.‘t1. where 1 | 

条 一 一 一 一 一 一 一 专 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 


1 row in set (8.80 sec) 


(4) possible keys 


possible_keys 将 指出 MySQL 能 使 用 哪个 索引 在 表 中 找到 行 ， 查 询 涉及 的 字段 上 若 存在 索引 ， 则 该 索引 将 被 列 出 ， 但 不 一 定 会 被 查询 使 用 。 


(5) key 


key 将 显示 MySQL 在 查询 中 实际 使 用 到 的 索引 ， 若 没有 使 用 索引 ， 则 显示 为 NULL。 查 询 中 若 使 用 了 覆盖 素 引 ， 则 该 索引 仅 出 现在 key 列 表 中 。 如 下 是 使 用 覆盖 索引 的 一 个 例子 。 


myusql> explain select col1, col2 from t1; 


专 一 一 一 一 步 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 4 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
| id 1 select type ! table ! type ! possible keys ! key | key_ len | ref | rows | Extra | 
专 一 一 一 一 此 一 一 一 一 一 一 一 一 一 一 一 一 一 此 一 一 一 一 一 一 一 此 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
| 1 1 SIMPLE 1 tt I index 1 NULL I idx col1_ col2 ! 398 ! NULL ! 682 ! Using index | 
专 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 卡 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 皮 一 一 一 一 一 一 一 一 一 卡 一 一 一 一 一 一 二 一 一 一 一 一 一 卡 一 一 一 一 一 一 一 一 一 一 一 一 一 二 


1 row 四 set (8.88 Sy 


(6) key len 


回 


key_ len 表示 索引 中 使 用 的 字 节 数 ， 可 通过 该 列 计算 查询 中 使 用 的 索引 的 长 度 。 下 面 我 们 通过 一 个 例子 来 说 明 。 


mysql> desc t1; 


4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
| Field | Type ! Null | Key ! Default ! Extra | 
和 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 了 一 一 一 一 一 一 生 一 一 一 一 一 志 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
| ID | int(11) N0 | PRI 1 NULL | auto increment | 
| col1 | char(4) | YES | MUL | NULL | | 
| col2 | char(4) | YES | | NULL | | 
地 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 4 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 所 


3 rows in set (8.88 sec) 


上 面 的 t1 表 col1 和 col2 字 段 使 用 的 是 utf8 字 符 集 ，utf8 字 符 集 的 最 大 字符 长 度 为 3 个 字 节 ， 也 就 是 说 ， 它 们 可 能 需要 12 个 字 节 存储 一 个 值 。 复 合 索 引 idx_col1_col2 是 创建 在 col1、col2 列 上 的 索引 。 如 下 
两 个 查询 中 ， 第 一 个 查询 我 们 可 以 看 到 key_ len 为 13， 它 只 用 到 了 复合 索引 idx_col1_col2 的 前 半 部 分 信息 。 第 二 个 : ee 它 是 完整 的 索引 长 度 ， 由 此 可 知 t1 表 的 索引 idx_col1_col2 已 被 充分 使 


musql> explain select x* From t1 where col1 = “ab'; 
4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4- 一 一 一 一 一 一 4 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 +t 
| id 1 select type ! table ! type ! possible keys | key | key len | ref | rows | Extra | 
填 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 二 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 44 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 二 
| 1 1 SIMPLE 1 1 1 ref 1 idx col1 col2 | idx_col1_col2 | 13 | const | 143 | | 
一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 第 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 生 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 二 
1 row in set (8.88 sec) 
musql> explain Select * from t1 where col1 = “ab” and col2 = "ac'; 
4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 和 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 4 一 一 一 一 一 一 一 到 
| id ! select type ! table ! type ! possible keys | key | key_len | ref | rows | Extra | 
二 一 一 一 一 沁 一 一 一 一 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 上 一 一 一 一 一 一 全 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 
| 1 SIMHPLE 『 t1 和 ref 上 idx col1 col2 | idx col1 col2 | 26 | const,const 1 1| | 
4 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 +— 一 一 一 一 一 一 +— 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 +— 一 一 一 一 一 一 4 
1 row in set (8.691 sec) 

注意 ，key_len 显 示 的 值 为 索引 字段 的 最 大 可 能 长 度 ， 并 非 实 际 使 用 长 度 ， 即 key_len 是 根据 表 定 义 计算 而 得 的 ， 而 不 是 通过 表 内 检索 得 出 的 。 

(7) ref 

ref 表 示 上 述 表 的 连接 匹配 条 件 ， 即 哪些 列 或 常量 被 用 于 查找 索引 列 上 的 值 。 如 下 的 例子 中 ，col1 匹 配 t2 表 的 col1，col2 匹 配 了 一 个 常量 ， 即 ac: 

musql> explain select x* from t1, t2 where t1.col1 = t2.col1 and t1.col2 = "ac'; 

一 一 一 一 "二 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 + 
| id |…| table | type | possible keys | key | key len | ref | rows | 
二 一 一 一 一 "十 一 一 一 一 一 一 一 4 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 + 
| 1 1…| t2 | ALL | NULL | NULL | NULL | NULL | 648 | 
| 11…| ti | ref | idx col1 col2 | idx col1 col2 | 26 | shared.t2.coli1,const | 82 | 
和 一 一 一 一 十 "十 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 + 
2 rows in set (9898.91 sec) 


(8) rows 


rows 表 示 MySQL 根 据 表 统计 信息 及 索引 选 有 


的 情况 ， 


中 591> explain Lee < from t1, 


估算 地 找到 所 需 的 记录 所 需要 读 取 的 行 数 。 如 下 的 例子 中 ， 我 们 可 以 看 到 ， 在 创建 索引 后 ， 执 行 计划 发 生 改 变 ， 所 需要 读 取 的 行 数 减少 了 。 


t2 where t1.id = t2.id and t2.col1 = ‘ac'; 


二 一 一 一 一 全 一 一 一 一 一 一 一 一 一 一 一 一 一 他 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 生 一 一 一 一 一 一 一 一 一 沁 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 +4 
| id 1 select type 9 table | type | possible keys | key | key_ len | ref | rows | Extra 
一 一 一 一 站 一 一 一 一 一 一 一 一 一 一 一 一 一 志 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 章 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| 1 | SIMPLE | t2 | ALL | PRIMARY | NULL | NULL | NULL | 648 | Using where | 
| 1 | SIMPLE | t1 | eq_ref 1 PRIMARY | PRIMARY | 4 | shared.t2.ID | 1 1 | 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 年 一 一 一 一 一 一 一 一 各 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 刀 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 4 
2 rows in set (8.88 sec) 
mysql> create index idx_ col1 col2 on t2(c011,c012); 
Query OK, 1881 rows affected (8.17 sec) 
Records: 1881 Duplicates: 8 Warnings: 8 
Sq explain select x* from t1, t2 where t1.id = t2.id and t2.col1 = "ac'; 
专 一 一 一 一 生 一 一 一 一 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 刀 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 条 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 去 
| id | select type | table | type | possible keys | key | key_ len | ref | rows | 
4 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 仿 一 一 一 一 一 一 一 他 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 好 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 合 一 一 一 一 一 一 +# 
| 1 | SIMPLE | t2 | ref | PRIMARY,idx_col1_ col2 | idx col1 col2 | 195 | const | 142 | 
| 1 | SIMPLE | ti | eq_ref | PRIMARY | PRIMARY | 4 | shared-t2.ID | 1 1 
十 一 一 一 一 皮 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 上 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 #4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 44 一 一 一 一 一 一 十 
2 rows in set (8.88 sec) 
(9) Extra 
Extra 包 含 不 适合 在 其 他 列 中 显示 但 十 分 重要 的 额外 信息 。 它 可 能 包含 如 下 4 种 信息 。 
1) Using index。 该 值 表 示 相应 的 SELECT 操作 中 使 用 了 覆盖 索引 。 包 含 满足 查询 需要 的 所 有 数据 的 索引 称 为 覆盖 索引 。 如 下 的 查询 就 使 用 到 了 覆盖 索引 。 
musql> explain select col2 from t1 where col1 = “ab '; 
生 一 一 一 一 全。 生 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 炸 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 -一 一 二 
| id |---| possible keys | key | key_len ! ref ! rows | Extra | 
一 一 一 一 年。 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 -一 一 + 
| 11.-.-| idx col1 col2 | idx col1 col2 | 13 const 143 | Using where; Using index | 
专 一 一 一 一 志 。。。 志 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 4 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 


1 row in set (898.868 sec) 


2) Using where。 该 值 表示 MySQL 服 务 器 在 存储 引 警 收 到 记录 后 进行 “后 过 滤 ” (Post-filter) 。 


如 果 查 询 未 能 使 用 索引 ， 则 Using where 的 作用 只 是 提醒 我 们 MySQL 将 用 where 子 句 来 过 滤 结果 集 。 如 下 的 查询 同时 使 用 到 了 覆盖 索引 和 过 滤 。 

musql> explain extended select t1-co12 from t1, t2 where t1.col1 = "ab’ and t1.id= t2.id ; 

得 一 一 一 一 二 "ee 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 圭一 一 一 一 一 一 一 一 一 专 一 一 一 一 一 一 一 一 一 一 一 一 一 一 所 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 妈 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 
Di [ss | key | key_len | ref | rows ! filtered ! Extra | 
i ee ea ed A 避 
EE dd | idx_col1 col2 | 13 1 const | 143 1 1886.868 1 Using where; Using index | 
几 证 an | PRIMARY | 4 | shared-t1.ID | 1 | 188.88 | Using index | 
二 一 一 一 一 此 "eee 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 和 寺 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


2 rows in set, 1 warning (8.88 sec) 


3) Using temporary。 该 值 表示 MySQL 需 要 使 用 临时 表 来 存储 结果 集 ， 常 见于 排序 和 分 组 查询 。 


如 下 是 一 个 使 


临时 表 的 例子 。 


musql> explain select col1 from t1 where col1 in ('"ac'","ab',"aa') group by col2\6 
沽 美 闫 英美 闫 并 其 次 其 美 凑 美 闫 关 天 关 关 其 其 闫 基 其 关 关于 关 本 高 PO 则 关 关 其 凑 关 天 关 关 凑 关 次 其 关 其 凑 凑 凑 其 其 关 关 关 关 关 天 关 凑 
ds 1 
select type: SIMPLE 
table: t1 
type: range 
possible_ keys: idx col1 col2 
key: idx col1 col2 
key_len: 13 
ref: NULL 
rows: 569 
Extra: Using where; Using index; Using temporary; Using filesort 
1 row in set (8.860 sec) 


如 上 查询 的 EXPLAIN 输 出 中 Extra 列 同时 有 Using temporary 和 Using filesort， 


因此 性 能 可 能 不 佳 。 如 果 我 们 更 改 了 GROUP BY 子 句 ， 利 


temporary 和 Using filesort， 示 例如 下 。 


musql> explain select col1 from t1 where col1 in ('"ac'"，"ab') group by col1, 
凑 基 其 放 其 凑 闪 其 其 其 其 其 其 次 关 其 放 其 凑 闪 关 其 关 凑 其 其 证 人 这 下 OW 闪 关 其 其 关 关 其 关 关 凑 兴 其 并 其 关 其 关 关 关 其 闪 关 疾 基 其 关 关 
Ld 1 
select type: SIMPLE 


col2\G 


索引 进行 排序 ， 则 可 以 看 到 EXPLAIN 输 出 里 没有 了 Using 


table: t1 


type: range 
possible keys: idx col1 col2 col3 
key: idx_col1 col2 col3 


key_len: 26 


ref: NULL 


rows: 自 


Extra: Using where; Using index for group-by 
1 row in set {8.88 sec) 


4) Using filesort。Using filesort 即 文件 排序 。MySQL 中 将 无 法 利用 索引 完成 的 排序 操作 称 为 “文件 排序 ”。 如 下 便 是 一 个 使 用 到 了 文件 排序 的 例子 。 


musql> explain 


select col1 from t1 where col1 = “ac” order by col3\6 


id: 

select type: 
table: 

type: 

possible keys: 
key: 

key_len: 

ref: 

rows: 

Extra: 


1 

SIMHPLE 

t1 

ref 

idx col1 col2 col3 

idx_ col1 col2 col3 

13 

const 

142 

Using where; Using index; Using filesort 


1 row in set (08.88 sec) 


如 果 我 们 更 改 查询 ， 利 用 索引 进行 排序 ， 则 可 以 优化 掉 文件 排序 ， 例 如 如 下 的 查询 ， 已 经 没有 了 filesort (文件 排序 ) 。 


musql> explain 


select col1 from t1 where col1 = "ac” order by col2, col3\G 


关 凑 其 其 其 凑 其 其 关 其 关 关 关 关 交 次 关 关 关 天 关 关 其 关 其 其 关 人。 上 OU 则 关 关 关 关 关 关 天 关 关 其 凑 其 天 关 关 交 关 天 疾 关 天 交 交 关 凑 疾 闫 


id: 

select type: 
table: 

type: 

possible keys: 
key: 

key_len: 

ref: 

rows: 

Extra: 


1 
SIMPLE 

t1 

ref 

idx col1 col2 col3 

idx col1 col2 col3 

13 

const 

142 

Using where; Using index 


1 row in set (86.868 secy 


3.MySQL 执 行 计划 的 局 限 


“EXPLAIN 不 会 告诉 你 关于 触发 器 、 存 储 过 程 的 信息 或 用 户 自 定义 函数 对 查询 的 影响 情况 。 


“ EXPLAIN 不 考虑 各 种 Cache。 


“EXPLAIN 不 能 显示 MySQL 在 执行 查询 时 所 做 的 优化 工作 。 


“ 部 分 统计 信息 是 估算 的 ， 并 非 精 确 值 。 


“ MYSQL 5.6 之 前 EXPALIN 只 能 解释 SELECT 操作 ， 其 他 操作 需要 重 写 为 SELECT 后 才能 查看 执行 计划 。 


:如果 FROM 子 句 里 有 子 查 询 ， 那 么 MySQL 可 能 会 执行 这 个 子 查询 ， 如 果 有 昂贵 的 子 查询 或 使 用 了 临时 表 的 视图 ， 那 么 EXPLAIN 其 实 会 有 很 大 的 开销 。 


3.5.5 ”优化 索引 的 方法 学 


以 上 介绍 了 索引 的 结构 和 使 用 索引 的 一 些 规则 ， 随 着 项 目 经 验 的 增长 ， 开 发 人 员 对 于 数 


届 库 都 有 一 个 从 不 熟悉 到 熟悉 的 过 程 ， 但 由 于 开发 人 员 的 专注 领域 并 不 是 数据 库 设计 开发 ， 而 且 不 同 的 数据 库 产 


品 也 有 差异 ， 因 此 导致 了 部 分 开发 人 员 对 索引 产生 了 一 些 误解 。 生 产 环境 中 数据 库 出 现 性 能 问题 ， 有 80% 的 原因 是 索引 策略 导致 的 ， 表 结构 不 易 变动 ， 而 调整 索引 或 SQL 往往 可 以 很 快 就 能 解决 问题 ， 在 开 
发 或 上 线 后 ， 可 遵循 以 下 的 方法 和 步骤 进行 优化 。 


(1) 有 性 能 测量 


在 应 用 程序 中 记录 访问 数据 库 的 性 能 日 志 ， 这 样 就 可 以 对 整体 的 访问 吞吐 有 一 个 很 直观 很 全 面 的 统计 ， 我 们 应 该 优化 对 数据 库 操作 最 频繁 、 最 耗资 源 的 那些 SQL， 但 由 于 性 能 统计 框架 的 缺 位 ， 大 部 分 
中 小 公司 更 多 地 依赖 于 数据 库 自身 的 慢 查 询 日 志 来 定位 耗 时 较 长 的 SQL， 由 慢 查询 日 志 入 手 也 是 一 个 很 好 的 出 发 点 ， 但 可 能 存在 一 些 滞后 ， 不 能 及 时 发 现 性 能 问题 ，MySQL 的 慢 查 询 
超过 1s 的 查询 ，4.3 节 将 详细 介绍 慢 查询 日 志 。 


(2) 查看 执行 计划 


志 默 认 记录 查询 时 间 


找到 消耗 资源 最 多 的 查询 请 求 后 ， 可 以 使 用 EXPLAIN 工 具 查 看 其 执行 计划 ， 检 查 是 否 走 的 是 合适 的 索引 。 


(3) 优化 索引 


我 们 应 该 熟悉 数据 量 、 数 据 类 型 等 信息 及 表 之 间 的 关系 ， 按 照 自 己 的 索引 经 验 ， 调 整 或 增加 索引 。 


(4) 测试 验证 


如 果 是 线 上 生产 环境 ， 那 么 请 不 要 在 线 上 环境 进行 测试 验证 ， 除 非 是 非常 紧急 的 情况 。 应 该 选择 在 开发 环境 中 尽量 使 用 和 线 上 环境 一 样 的 数据 规模 ， 来 进行 验证 测试 。 


(5) 上 线 


当 确 认 优化 达到 了 预期 的 效果 后 ， 就 可 以 安排 上 线 了 。 


有 一 个 错误 的 观念 是 定期 重建 索引 ， 这 种 方式 在 早期 的 传统 数据 库 中 用 得 很 多 ， 基 于 的 3 
网 行业 一 般 是 OLTP 应 用 ， 索 引 重 建 将 导致 服务 变 得 不 可 用 ， 更 重要 的 是 ， 在 绝 大 部 分 | 
重 变形 。 如 果 需 要 重建 索引 ， 首 先 要 证 明 ， 重 建 索引 真 的 能 够 大 大 改善 性 能 ， 和 否则 建议 不 要 做 这 种 费力 又 不 讨好 的 


在 运行 。 


3.6 ID 主键 


下 面 先 说 明 选 择 主键 的 注意 事项 。 


1) 建议 主键 是 整 型 。 


要 理由 是 经 过 长 期 的 生产 运行 ， 索 引 变 得 越 来 越 不 平衡 ， 但 是 否 需要 定期 重建 索引 是 有 争议 的 。 MySQL 在 互联 
博 况 下 ， 重 建 了 和 没有 重建 索引 ， 性 能 上 并 没有 什么 区 别 ， 唯 一 可 能 的 场景 是 在 大 量 删除 导入 数据 后 ， 会 导致 数据 表 严 
有 情 ， 数 据 库 索 引 本 来 就 应 该 是 “不 好 不 坏 ”的 状态 ， 不 要 期 望 它 始终 以 一 种 理想 的 状态 


2) 如 果 表 中 包含 一 列 能 够 确保 唯一 、 非 空 (NOT NULL) ， 以 及 能 够 用 来 定位 一 条 记录 的 字段 ， 就 不 要 因为 传统 而 觉得 一 定 要 加 上 一 个 自 增 ID 做 主键 。 


3) 主键 也 遵从 索引 的 一 些 约定 ， 注 意 联合 主键 的 字段 顺序 。 


4) 为 主键 选择 更 有 意义 的 名 称 ， 如 ID 这 个 名 称 太 过 笼统 ， 表 达 的 信息 可 能 不 准确 。 


1. 自 增 ID 主 键 


为 1 进行 递增 ， 自 增 列 的 增长 将 受 两 个 MySQL 全 局 参数 的 影响 。 


' auto_inctement_offset: 确定 AUTO_INCREMENT 列 值 的 起 点 。 


* auto_increment_increment: 控制 列 值 增加 的 间隔 ， 即 步 长 。 


也 可 以 单独 定义 某 个 表 的 起 始 值 ， 如 : 


mysql> ALTER TABLE tbl AUTO INCREMENT = 100; 


自 增 列 是 MySQL 里 的 一 种 特殊 的 整 型 ， 我 们 定义 一 个 列 的 整 型 的 同时 ， 可 以 设置 它 是 否 为 自 增 的 ， 一 个 表 只 能 有 一 个 列 是 自 增 列 ， 且 自 增 列 必然 是 主键 列 。 自 增 列 的 默认 起 始 值 是 1， 默 认可 以 按 步 长 


在 复制 环境 中 ， 设 置 这 两 个 值 可 以 减少 主键 冲突 ， 关 于 这 一 点 以 后 会 在 复制 章节 (第 12 章 ) 中 详 述 。 


使 用 自 增 列 的 原因 是 唯一 标识 数据 表 的 某 行 记 录 。 它 们 也 被 用 来 优化 表 之 间 的 连接 。 连 接生 


没有 必要 滥用 自 增 !|D， 给 每 个 表 都 设置 一 个 自 增 |D 做 主键 ， 有 了 时 可 能 存在 男 一 个 从 逻辑 上 来 说 更 加 自然 的 主键 。 


另外 


研发 人 员 有 时 倾向 于 使 用 字符 串 做 主键 ， 或 者 使 用 多 个 列 的 联合 主键 ， 但 需要 清楚 一 个 事实 : InnoDB 的 其 他 索引 实际 上 存储 了 主键 的 值 ， 这 样 做 可 能 会 导致 索引 空间 大 大 增加 。 


InnoDB 选 择 主键 创建 艇 索引 。 如 果 没 有 主键 ， 就 会 选取 一 个 唯一 非 空 的 索引 来 蔡 代 ; 如 果 仍然 


们 所 期 待 的 ， 一 般 的 解决 办 法 是 删除 我 们 不 期 望 的 主键 (唯一 索引 ) ， 创 建 一 个 非 空 的 自 增 列 ， 再 增加 这 个 唯一 索引 。 


a 个 列 比 连接 多 个 列 更 快 ， 连 接 整 数列 比 连接 其 他 大 多 数 数据 类 型 也 更 快 。 总 之 ， 有 很 多 使 用 它 的 理由 。 但 也 


因为 InnoDB 引 擎 的 ID 主 键 是 聚集 索引 ， 从 前 文 可 以 得 知 ， 如 果 簇 索 引 、 数 据 和 主键 索引 放 在 一 起 且 是 按 主 键 索 引进 行 排序 的 ， 那 么 基于 自 增 主键 的 单个 值 查找 和 小 范围 查找 将 是 最 高 效 的 。 


戌 不 到 合适 的 列 ， 那 么 将 创建 一 个 隐 合 的 主键 来 创建 徐 索 引 。 选 取 一 个 唯一 非 空 的 索引 做 主键 可 能 不 是 我 


例如 ， 由 于 未 定义 主键 ，InnoDB 自 动 把 唯一 索引 idx_a_b(a,b) 定 义 为 主键 了 。 我 们 想 增 加 一 个 自 增 ID 主键 ， 并 设 


ALTER TABLE table name 

ADD COLUMN 'id' bigint UNSIGNED NOT NULL AUTO INCREMENT first, 
DROP PRIMARY KEY, | 

ADD PRIMARY KEY('id') ， 

ADD INDEX idx a b on table name (a,b); 


2. 自 增 |D 可 以 插入 指定 的 值 


创建 一 个 表 ， 用 来 控制 顺序 计数 器 并 使 其 初始 化 。 


mysql> CREATE TABLE sequence (id INT NOT NULL); 
mysql> INSERT INTO sequence VALUES (0); 


使 用 该 表 产 生 如 下 的 序列 数 。 


mysql> UPDATE sequence SET id=LAST _ INSERT ID(id+1) 7 
mysql> SELECT LAST INSERT ID(); 


高 并 发 下 ，LAST INSERT ID 函数 可 能 会 有 一 定 的 性 能 问题 ， 但 这 种 方法 很 简 和 


3.7 ”字符 集 和 国际 化 支持 


3.7.1 什么 是 字符 集 


自 增 1D 还 有 一 个 特性 ， 那 就 是 如 果 插 入 0 值 或 NULL 值 ，InnoDB 会 认为 没有 设 定 值 ， 然 
需要 一 个 全 局 唯一 ID 来 标识 记录 了 。 如 下 是 官方 文档 推荐 的 一 个 创建 唯一 序列 的 方法 。 


唯一 索引 idx_a_b。idx_a_b 表 示 这 个 索引 是 建立 在 a 列 和 b 列 的 复合 索引 。 


和 E， 一 般 情况 下 是 可 以 满足 需要 的 。 


后 帮 你 自 增 一 个 值 。 所 以 可 以 利用 这 个 特性 生成 全 局 唯一 ID、 序 列 。 如 果 数 据 分 片 到 许多 实例 、 机 器 上 ， 那 么 就 


字符 集 (character set) 是 一 套 符号 和 编码 。 校 对 规则 (collation) 是 在 字符 集 内 用 于 比较 字符 的 一 套 规 则 ， 即 字符 集 的 排序 规则 。 


假设 我 们 有 一 个 字母 表 使 用 了 4 个 字母 : 'A'、'B、 


'a 、'"b'。 现 在 为 每 个 字母 赋予 一 个 数值 : 'A'=0，'B'=1，'a =2，'b'=3， 字母 A 是 一 个 符号 ， 数 字 0 是 'A 的 编码 ， 那 么 这 4 个 字母 和 它们 的 编码 组 合 在 


一 起 就 是 一 个 字符 集 。 我 们 可 以 认为 字符 集 是 字符 的 二 进 制 的 编码 方式 ， 即 二 进 制 编码 到 一 套 符号 的 映射 。 


对 于 字符 集 ，MySQL 能 够 做 如 下 这 些 事情 。 
“ 使 用 多 种 字符 集 来 存储 字符 串 。 


“ 使 用 多 种 校对 规则 来 比较 字符 串 。 


“ 在 同一 台 服务 器 、 同 一 个 数据 库 甚 至 在 同一 个 表 中 ， 使 用 不 同 的 字符 集 或 校对 规则 来 混合 字符 串 。 


“ 允许 定义 任何 级 别 的 字符 集 和 校对 规则 。 


可 使 用 SHOW CHARACTER SET 语句 列 出 可 用 的 字符 集 。 


mysql>SHOW CHARACTER SET; 


可 使 用 SHOW COLLATION 语 句 列 出 utf8 字 符 集 的 校对 规则 。 


mysql>SHOW COLLATION LIKE 'utf8%'; 


3.7.2 ”国际 化 支持 


因为 现存 编码 不 能 在 多 语言 电脑 环境 中 使 用 ， 而 且 字 符 数 有 局 限 。 所 以 诞生 了 Unicode (统一 码 、 万 国 码 、 国 际 码 、 单 一 码 ) 。Unicode 是 计算 机 科学 领域 里 的 一 项 业界 标准 。 它 对 世界 上 大 部 分 的 文 


字 系统 进行 了 整理 、 编 码 ， 使 得 电脑 可 以 用 更 为 简单 的 方式 来 呈现 和 处 理 文字 。 


一 个 字符 的 Unicode 编 码 是 确定 的 ， 但 Unicode 的 实现 方式 不 同 于 编码 方式 。 在 实际 传输 过 程 中 ， 由 于 不 同系 统 平台 的 设计 不 一 定 都 是 一 致 的 ， 且 出 于 节省 空间 的 目的 ， 对 Unicode 编 码 的 实现 方式 也 
有 所 不 同 。Unicode 的 实现 方式 称 为 Unicode 转 换 格式 (Unicode Transformation Format，UTF) 。 这 其 中 有 一 种 UTF-8 编 码 ， 它 是 一 种 变 长 编码 ，MySQL 中 经 常 使 用 的 utf8 字 符 集 就 是 UTF-8 编 码 。 
UTF-8 编 码 的 思想 是 不 同 的 Unicode 字 符 采 用 变 长 字 节 序列 编码 : 基本 拉丁 字母 、 数 字 和 标点 符号 使 用 一 个 字 节 。 大 多 数 的 欧洲 和 中 东 手 写字 母 适合 两 个 字 节 序列 。 韩 语 、 中 文 和 日 本 象形 文字 使 用 三 个 字 


节 序列 。 


utf8 是 MySQL 存 储 Unicode 数 据 的 一 种 可 选 方法 ，MySQL 还 有 其 他 的 存储 Unicode 数 据 的 字符 集 ， 这 里 就 不 做 额外 介绍 了 。 


OB 注意 utf8 字 符 集 的 最 大 长 度 是 3 个 字 节 (中文 3 个 字 节 ， 对 于 英文 数字 仍然 使 用 一 个 字 节 ) ， 默 认 校 对 (排序 ) 规则 为 utf8_general_ci (不 区 分 大 小 写 ) 。 如 果 是 CHAR 类 型 ， 那 么 可 能 会 导致 空间 浪 


1 
费 ， 因 为 任意 字符 都 需要 3 个 字 节 来 存储 。 如 果 是 VARCHAR 类 型 ， 那 么 英文 、 数 字 、 标 点 符号 只 需要 1 个 字符 来 存储 即 可 。 


对 于 utf8， 还 需要 了 解 这 样 两 个 概念 : 超 集 、 子 集 。 


有 字符 集 A、B。 如 果 B 支 持 的 所 有 字符 A 都 支持 ， 那 么 字符 集 A 是 字符 集 B 的 超 集 。 如 果 A 是 B 的 超 集 ， 那 么 字符 集 B 是 字符 集 A 的 子 集 。 比 如 ，GBK 字 符 集 是 GB2312 字 符 集 的 超 集 ， 它 们 又 都 是 ASCIl 字 


符 集 的 超 集 。 


3.7.3 ”字符 集 设置 


字符 集 设置 可 以 分 为 两 类 : 一 类 是 创建 对 象 的 默认 值 ， 另 一 类 是 控制 server 端 和 client 端 交互 通信 的 配置 。 


1. 创 建 对 象 的 默认 值 


字符 集 和 校对 规则 有 4 个 级 别 的 默认 设置 : 服务 器 级 、 数 据 库 级 、 表 级 和 连接 级 。 


使 用 如 下 语句 列 出 可 用 的 字符 集 。 


mysql> SHOW CHARACTER SET; 


列 出 可 用 的 校对 规则 可 使 用 如 下 语句 。 


mysql> SHOW COLLATION 


更 低级 别 的 配置 会 继承 更 高 级 别 的 配置 。 例 如 ， 如 果 创 建 一 个 数据 库 ， 不 指定 字符 集 ， 那 么 它 会 继承 服务 器 级 的 默认 字符 集 。 


对 于 生产 环境 的 升级 脚本 ， 建 议 在 表 级 别 指定 默认 的 字符 集 ， 以 避免 歧义 或 继承 了 错 的 数据 库 默 认 字符 集 。 


2. 控 制 server 端 和 client 端 交互 通信 的 配置 


绝 大 部 分 MySQL 客 户 端 都 不 具备 同时 支持 多 种 字符 集 的 能 力 ， 每 次 都 只 能 使 用 一 种 字符 集 。 客 户 和 服务 器 之 间 的 字符 集 转换 工作 是 由 如 下 几 个 MySQL 系 统 变量 来 控制 的 。 


“ character_set_server: MySQL Setrvet 默 认 字 符 集 。 


"character_set_database: 数据 库 默 认 字 符 集 。 


“ character_set_client: MySQL Server 假 定 客户 端 发 送 的 查询 使 用 的 字符 集 。 


“character_set_connection: MySQL Server 接 收 客户 端 发 布 的 查询 后 ， 将 其 转换 为 character_set_connection 变 量 指 定 的 字符 集 。 


“ character_set_result: MYSQL Server 把 结果 集 和 错误 信息 转换 为 character_set_result 指 定 的 字符 集 ， 并 发 送 给 客户 端 。 


色 3-13 说 明了 字符 集 的 转换 过 程 。 


图 3-13 来 自 《High Performance MySQL》 一 书 。 由 图 3-13 可 以 知道 ， 当 一 个 客户 端 和 数据 库 打 交道 时 ， 客 户 端 、 连 接 、 操 作 系统 、 数 据 库 、 输 出 结果 都 有 自己 的 字符 集 设 置 ， 如 果 字 符 集 不 一 致 ， 那 
么 就 可 能 需要 进行 转换 ， 一 般 情况 下 ， 目 标 字符 集 应 确保 是 源 字符 集 的 超 集 ， 以 确保 转换 正常 ， 如 果 目 标 字符 集 不 能 容纳 源 字符 集 的 编码 或 设置 错 了 字符 集 ， 那 么 转换 会 导致 乱码 。 


服务 天 


转换 character set_client 


至 character set connection 


让 
并 


转换 character set connection 


全 character set result 


图 3-13 ”字符 集 的 转换 过 程 


以 下 列举 了 一 些 常用 的 设置 字符 集 的 操作 。 


SET NAMES x 


通过 MySQL 客 户 端 导 入 数据 时 ， 在 使 用 “mysql> source/path/imp_data.sql” 命 令 的 过 程 中 有 了 时 可 能 会 出 现 乱码 ， 这 时 可 能 需要 先 运行 SET NAMES x 语句 设置 字符 集 。 


SET NAMES x 语句 与 下 面 这 3 个 语句 是 等 价 的 。 


mysql> SET character set client = x; 
mysql> SET character set connection = x; 
mysql> SET character set results = x; 


再 来 看 看 SET CHARACTER SET x 语句 ， 它 等 同 于 下 面 这 3 条 语句 。 


mysql> SET character set client = x; 
mysql> SET character set results = x; 
mysql> SET collation connection = Q@@collation database; 


有 些 客户 端 命令 支持 “--default-character-set” 选 项 ， 此 选项 允许 用 户 连 接 时 设置 字符 集 。 它 等 同 于 以 下 这 3 条 语句 。 


mysql> SET character set client = x; 
mysql> SET character set connection = x; 
mysql> SET character set results = x; 


如 果 数 据 库 服务 器 中 有 很 多 数据 库 使 用 不 同 的 字符 集 ， 且 有 各 种 不 同 语系 的 客户 端 ， 很 复杂 ， 那 么 使 用 init-connect=SET NAMES binary 是 一 种 可 以 考虑 的 方式 。 这 个 指令 的 目的 是 让 clinet 与 server 
交互 的 时 候 以 as-is 模 式 (是 什么 就 是 什么 ， 不 做 任何 转换 ) 来 传送 。 


索引 可 用 来 排序 ， 但 如 果 指 定 了 用 其 他 的 非 默 认 排序 规则 ， 那 么 将 不 能 利用 索引 进行 排序 ， 比 如 在 下 面 的 语句 中 : 


EXPLAIN SELECT col 1,col 2 
FROM table name ORDER BY col 2 COLLATE utf8 bin 


col_2 字 段 使 用 的 是 utf8 字 符 集 ， 且 其 上 有 索引 ， 默 认 的 utf8 字 符 集 的 排序 规则 是 utf8_general ci， 而 上 面 的 案例 指定 的 是 用 utf8_bin 进 行 排序 ， 那 么 EXPLAIN 输 出 可 以 看 到 有 filesort (文件 排序 ) ， 即 
没有 利用 到 索引 进行 排序 。 


同 理 ， 如 果 连 接 两 张 表 使 用 的 连接 列 不 是 一 样 的 字符 集 ， 那 么 也 不 能 利用 索引 ， 因 为 必须 先 执行 转换 工作 ， 可 用 EXPLAIN EXTENDED 先 进行 确认 。 


默认 情况 下 ，MySQL 的 字符 集 是 latin1 (1SO_8859 1) 。latin1 字 符 集 是 单字 节 编 码 ， 应 用 于 英文 系列 ， 最 多 能 表示 的 字符 范围 是 0~255 (编码 范围 是 0x00~0xFF) ， 其 中 0x00~0x7F 之 间 和 ASCII 码 
完全 一 致 ， 因 此 它 是 向 下 兼容 AsClI 的 。latin1 字 符 有 限 ， 如 用 来 存储 中 文 、 日 文 、 韩 文 、 希 伯 来 文 等 语言 时 往往 会 导致 乱码 ， 为 了 避免 乱码 ， 支 持 国际 化 ， 个 人 建议 是 生产 环境 都 统一 使 用 utf8 字 符 集 ， 除 
非 你 有 特殊 理由 。 


以 下 是 关于 在 生产 环境 中 使 用 utf8 字 符 集 的 一 些 说 明和 注意 事项 。 


1) 为 什么 生产 环境 中 建议 使 用 utf8 字 符 集 ? 


主要 是 为 了 维护 和 开发 都 方便 。 大 家 都 统一 使 用 utf8 字 符 集 ， 将 一 劳 永 逸 地 避免 各 种 乱码 问题 。 一 个 数据 库 如 果 存 在 各 种 字符 集 ， 就 会 很 容易 出 错 ， 也 会 大 大 提高 开发 的 难度 。 国 际 化 支持 也 是 使 
utf8 字 符 集 的 一 个 考虑 。 


当然 ，utf8 字 符 集 也 有 弊端 ， 主 要 就 是 空间 的 消耗 。 比 如 ， 对 于 CHAR(10)， 将 需要 用 到 30 个 字 节 来 存放 。 对 于 VARCHAR(10)， 则 是 按照 字符 串 的 长 度 来 存储 的 ， 虽 然 不 存在 过 多 的 磁盘 空间 消耗 ， 但 
MySQL 内 部 实现 的 一 些 数据 结构 ， 如 临时 表 需 要 分 配 最 大 可 能 的 长 度 ， 也 可 能 导致 内 存 大 大 增加 。 更 多 的 空间 还 意味 着 更 差 的 /O 性 能 。 


有 了 时， 我 们 可 能 为 了 节省 空间 (如 果 空 间 真 的 是 一 个 需要 考虑 的 因素 ) 而 选择 其 他 字符 集 (如 用 GBK 存 储 汉字 ) ， 对 于 大 批量 的 机 器 ， 特 定 的 服务 选择 特定 的 字符 集 ， 这 种 情况 下 所 节省 的 空间 也 是 很 
可 观 的 ， 但 对 于 一 般 的 中 小 型 公司 ， 建 议 统一 使 用 utf8， 一 劳 永 逸 地 解决 乱码 问题 是 更 明智 的 选择 。 


2) 如 何 判断 多 字 节 字符 集 的 字符 串 长 度 ? 


LENGTH( 返 回 值 为 字符 串 的 长 度 ， 单 位 为 字 节 。 一 个 多 字 节 字符 算 作 多 字 节 。 


CHAR_LENGTH( 返 回 值 为 字符 串 的 长 度 ， 长 度 的 单位 为 字符 。 一 个 多 字 节 字符 算 作 一 个 单字 符 。 


例如 : 对 于 一 个 包含 了 5 个 二 字 节 的 字符 集 ，LENGTH() 返 回 值 为 10， 而 CHAR_LENGTH() 的 返回 值 为 5。 


3) 有 时 创建 索引 的 时 候 ， 可 能 会 提示 出 错 。 


MySQL 会 假定 每 个 字符 有 3 个 字 节 ， 由 于 索引 长 度 有 限制 ， 那 么 创建 索引 的 时 候 ， 可 能 会 提示 下 面 这 样 的 错误 。 


ERROR 1071 (42000): Specified key was too long; max key length is 1000 bytes 


这 时 需要 明白 ， 自 己 创建 的 是 多 字 节 字符 集 ， 字 节 数 实际 上 超过 1000 了 。 


4) UTF-8 是 可 变 长 度 的 编码 ， 使 用 1 到 4 个 字 节 来 存储 。 但 MySQL 5.1 及 以 前 的 版 本 ， 对 UTF-8 的 支持 并 不 彻底 ， 它 的 utf8 只 是 3 字 节 字符 集 ， 有 些 文字 符号 是 不 能 存储 的 ， 如 emoji 表 情 。 


MySQL5.5 增 加 了 字符 集 utf8mb4 (4-Byte UTF-8 Unicode Encoding) ， 可 以 存储 一 些 MySQL utf8 不 能 存储 的 字符 ， 需 要 留意 的 是 ， 设 置 了 utf8mb4 字 符 集 后 ， 需 要 重启 MySQL Server 才 能 生效 。 


Of 本 章 介绍 了 一 般 开发 过 程 中 需要 了 解 的 数据 库 知 识 。 理 解 软件 架构 的 一 些 概念 和 数据 建 模 有 助 于 更 全 面 地 构建 自己 的 知识 体系 ， 从 而 为 研发 中 大 型 项 目 打下 基础 。SQL 是 绝 大 多 数 IT 人 员 甚 至 
也 是 部 分 非 T 专 业 人 员 的 必 备 技能 ， 在 项 目 实战 的 过 程 中 ， 你 的 SQL 技 能 会 越 来 越 熟 练 。 研 发 是 一 个 很 庞大 的 体系 ， 我 们 选取 PHP 数 据 库 开发 讲述 了 一 些 数据 库 操作 的 知识 ， 项 望 对 其 他 开发 领域 也 有 借鉴 
作用 。 本 章 还 讲述 了 索引 、 主 键 、 字 符 集 等 知识 ， 这 些 内 容 是 开发 过 程 中 最 普遍 使 用 的 知识 。 


第 4 章 开发 进 阶 


本 章 将 介绍 一 些 重 中 之 重 的 数据 库 开发 知识 。 在 数据 库 表 设计 中 ， 范 式 设 计 是 非常 重要 的 基础 理论 ， 因 此 本 章 把 它 放 在 最 前 面 进行 讲解 ， 而 这 其 中 又 会 涉及 另 一 个 重要 的 概念 一 一 反 范 式 设计 。 接 下 来 
会 讲述 MySQL 的 权限 机 制 及 如 何 固化 安全 。 然 后 介绍 慢 查询 日 志 及 性 能 管理 的 部 分 理念 ， 并 讲述 数据 库 的 逻辑 设计 、 物 理 设 计 、 导 入 导出 数据 、 事 务 、 锁 等 知识 。 最 后 会 提 及 MySQL 的 一 些 非 核心 特性 ， 
并 对 于 这 些 特性 的 使 用 给 出 一 些 建议 。 


4.1 范式 和 反 范 式 
4.1.1 范式 


什么 是 范式 ? 


范式 是 数据 库 规范 化 的 一 个 手段 ， 是 数据 库 设 计 中 的 一 系列 原理 和 技术 ， 用 于 减少 数据 库 中 的 数据 元 余 ， 并 增进 数据 的 一 致 性 。 


数据 规范 化 通常 是 将 大 表 分 成 较 小 的 表 ， 并 且 定 义 它们 之 间 的 关系 。 这 样 做 的 目的 是 为 了 避免 元 余 存 放 数 据 ， 并 确保 数据 的 一 致 性 。 添 加 、 删 除 和 修改 数据 等 操作 可 能 需要 修改 多 个 表 ， 但 只 需要 修改 
一 个 地 方 即 可 保证 所 有 表 中 相关 数据 的 一 致 性 (由 于 数据 没有 宛 余 存 放 ， 修 改革 部 分 数据 一 般 只 需要 修改 一 个 表 即 可 ) 。 由 于 数据 分 布 在 多 个 表 之 间 ， 因 此 检索 信息 可 能 需要 根据 表 之 间 的 关系 联合 查询 多 
个 表 。 数 据 规范 化 的 实质 是 简单 写 、 复 杂 读 。 写 入 操作 比较 简单 ， 对 于 不 同 的 信息 ， 分 别 修 改 不 同 的 表 即 可 ;而 读 取 数 据 则 相对 复杂 ， 检 索 数 据 的 时 候 ， 可 能 需要 编写 复杂 的 SQL 来 联合 查询 多 个 表 。 


常用 的 范式 有 第 一 、 第 二 、 第 三 范式 ， 通 常 来 说 ， 如 果 数据 库 表 满 足 某 一 个 层级 的 范式 ， 那 么 它 也 满足 前 面 所 有 层级 的 范式 ， 比 如 ， 第 三 范式 肯定 满足 第 一 、 第 二 范式 。 如 果 一 个 关系 数据 库 表 的 设计 
满足 第 三 范式 ,通常 可 认为 它 是 “范式 化 ”的 。 


那么 ， 这 三 类 范式 又 分 别 代表 什么 含义 呢 ? 以 下 将 进行 更 进一步 的 阐释 。 


1. 第 一 范式 


第 一 学 式 是 指数 据 库 表 的 每 一 列 (属性 ) 都 是 不 可 分 割 的 基本 数据 项 ， 这 就 要 求 数据 库 的 每 一 列 都 只 能 存放 单一 值 ， 即 实体 中 的 某 个 属性 不 能 有 多 个 值 或 不 能 有 重复 的 属性 。 第 一 范式 (1NF) 是 对 关 
系 模式 的 基本 要 求 。 


司 4-1 是 不 满足 第 一 范式 的 一 个 例子 : “credit_card transactions (客户 信用 卡 交易 ) ” 


Customer Transactions 


12890 14-Oct-2003 
12904 15-Oct-2003 


Wilkinson 


12898 14-Oct-2003 


12907 15-Oct-2003 


20-Nov-2003 


Stevens 


4-1 credit_card_transactions 


每 个 用 户 (Customer) 对 应 多 个 交易 (Transactions) ， 但 这 些 交 易 记录 被 封装 在 一 个 复杂 的 属性 Transactions 内 ， 这 个 属性 包含 多 个 时 间 的 交易 记录 ， 其 中 TrID 列 存储 的 是 交易 事务 ID，Date 列 的 
是 存储 交易 时 间 ，Amount 列 存储 的 是 交易 金额 ， 如 果 要 查询 某 用 户 某 个 时 间 的 交易 记录 ， 还 要 解析 这 个 结构 ， 才 能 找到 对 应 的 信息 。 这 样 的 数据 很 难 在 关系 型 数据 库 内 存储 和 检索 。 下 面 来 看 下 满足 第 一 
范式 的 等 价 例子 ， 如 表 4-1 所 示 。 


表 4-1 满足 第 一 范式 的 credit_card_transactions 表 


现在 ， 每 一 行 数据 代表 一 笔 单独 的 信用 卡 交 易 记录 ， 这 样 就 可 以 很 方便 地 进行 检索 和 统计 了 。 


再 看 表 4-2 所 示 的 例子 。Customer 表 存放 了 客户 的 信息 ， 包 括 Customer ID (客户 ID) ，First Name (名 ) ，Surname ( 姓 ) ，Telephone Number (电话 号 码 ) 。 


表 4-2 Customer (客户 表 ) 


Customer ID Telephone Number 


123 


430 


789 


Robert | ngram 


Jane 


存储 电话 记录 的 列 “Telephone Number” 里 包含 了 多 个 值 ， 违 反 了 第 一 范式 。 


以 下 是 符合 第 一 范式 的 设计 。 


将 Customer 表 分 解 为 两 个 表 : Customer Name ( 见 表 4-3) 和 


这 样 Telephone Number 列 就 不 


Customer Telephone Number ( 见 表 4-4) 。 


表 4-3 Customer Name (客户 姓名 ) 


789 


到 。 


存在 多 个 值 了 。 当 然 ， 这 样 的 设计 在 现实 中 很 少 


也 可 以 把 多 个 电话 存储 为 以 逗号 分 隔 的 字符 串 ， 见 表 4-5。 


Customer ID 


[>) 


ULD 


430 
789 


以 上 的 设计 ， 属 于 一 种 常 


2. 第 二 范式 


的 反 范式 设计 ,使 


表 4-5 Customer (客户 表 ) 


Fernandez 


53533-861-2023 
333-403-1639 
333-776-4100 
553-808-9633 


Surname 


Fernandez 


Customer ID 


Telephone Number 
555-776-4100 
555-808-9633 


Telephone Number 


555-776-4100 


程序 只 需要 存储 和 使 


分 隔 符 存 储 多 个 值 ， 一 般 来 说 ， 如 果 应 


一 个 数据 表 符 合 第 二 范式 的 前 提 是 该 数据 表 符 合 第 一 范式 。 它 的 规则 是 要 求 数据 表 里 的 所 有 数据 都 要 和 该 数据 表 的 主键 有 完全 


立 出 来 变 成 男 一 个 数据 表 。 如 果 一 个 数据 表 的 主键 只 有 单一 一 个 字段 的 话 ， 那 么 它 就 一 定 符合 第 二 范式 。 


s (雇员 技能 表 ) 


Employee 


， 而 不 需要 对 单独 的 项 进行 修改 或 检索 的 话 ， 那 就 可 以 存储 为 以 上 的 形式 。 


相依 的 关系 ; 如 果 有 哪些 数据 只 和 主键 的 一 部 分 有 关 的 话 ， 就 得 把 它们 独 


Current Work Location 


来 看 下 面 的 例子 ， 表 4-6 给 出 了 Employees Skills (雇员 技能 ) 信息 。 
表 4-6 Employees”Skil 


表 4-6 的 主键 是 (Employee,Skil) ， 由 于 当前 工作 地 点 (Current Work Location) 只 取决 了 


主键 的 部 分 列 (取决 于 Employee 列 ) ， 显 然 ， 它 不 


Skill 


114 Main Street 
114 Main Street 
114 Main Street 


Jones 


Jones 


Jones 


足 第 二 范式 ，Current Work Location 列 的 数据 存 


在 重复 ， 且 更 新 数据 的 时 候 也 可 能 会 忘记 更 改 所 有 Current Work Location 列 的 信息 。 要 满足 第 二 范式 ， 需 要 把 依赖 Employee 列 的 信息 独立 出 来 放 到 另外 的 表 中 ， 见 表 4-7 和 表 4-8。 


表 4-7 Employees (雇员 表 ) 


Employee Current Work Location Employee Current Work Location 


Brown 73 Industrial Way Jones 114 Main Street 


Hatrison 73 Industrial Way 


表 4-8 Employees”Skills (雇员 技能 表 ) 


Employee Employee 


Brown Light Cleaning Shorthand 


Brown Typing Jones Typing 


Harrison Light Cleaning Jones Whittling 


3. 第 三 范式 


第 三 范式 的 所 有 非 键 属性 都 只 和 候选 键 有 相关 性 ， 也 就 是 说 所 有 非 键 属性 互相 之 间 应 该 是 无 关 的 。 候 选 键 指 的 是 能 够 唯一 标识 一 笔记 录 的 属性 的 最 小 集合 ， 一 般 我 们 所 说 的 候选 键 指 的 就 是 主键 。 


下 面 是 一 个 关于 锦标 赛 冠军 的 例子 ， 见 表 4-9。 


表 4-9 ”Tournament Winners (锦标 赛 冠军 表 ) 


Tournament Year Winner Date of Birth 
Indiana Invitational 21-Jul-75 
Cleveland Open 28-Sep-68 
Des Moines Masters 21-Jul-75 
Indiana Invitational 14-Mar-77 


上 表 Tournament 列 存储 锦标 赛 名 称 ，Year 列 存储 举办 日 期 ，Winner 列 存储 冠军 姓名 。 主 键 是 (Tournament,Year) ， 由 于 冠军 的 生日 (Winner Date of Birth) 是 固定 的 ，Winner 列 可 以 决定 
Winner Date of Birth 列 的 信息 ，Winner 和 Winner Date of Birth 这 两 个 属性 都 是 非 键 属性 ， 显 然 违 反 了 第 三 范式 。 满 足 第 三 范式 的 表格 形式 应 如 表 4-10 和 表 4-11 所 示 ， 这 里 是 将 表 4-9 分 解 为 了 两 个 表 。 


表 4-10 ”Tournament Winners (锦标 赛 冠 军 表 ) 


Tournament Tournament Winner 


Indiana Invitational Al Fredrickson Des Moines Masters Al Fredrickson 


Cleveland Open Bob Albertson Indiana Invitational Chip Masterson 
表 4-11 Player Dates of Birth (冠军 生日 表 ) 
Player Date of Birth Date of Birth 


Chip Masterson 14-Mar-77 Bob Albertson 28-Sep-68 
Al Fredrickson 21-Jul-75 


一 般 数据 库 表 的 设计 满足 第 三 范式 即 可 ， 一 些 其 他 的 范式 ， 如 第 四 范式 、 第 五 范式 、DK 范 式 、 第 六 范式 ， 因 为 使 用 得 很 少 ， 这 里 就 不 做 介绍 了 。 


范式 的 好 处 是 : 使 编程 相对 简单 ， 数 据 量 更 小 ， 更 适合 放 入 内 存 ， 更 新 更 快 ， 只 需 更 新 更 少 的 数据 。 更 少 的 宛 余数 据 意味 着 更 少 地 需要 GROUP、DISTINCT 之 类 的 操作 。 不 利之 处 是 查询 会 变 得 更 加 复 
杂 ， 查 询 时 需要 更 多 连接 (JOIN) 操作 ， 一 些 可 以 复合 索引 的 列 由 于 范式 化 的 需要 被 分 布 到 了 不 同 的 表 中 ， 叶 致 索引 策略 不 佳 。 


4.1.2 反 范 式 


范式 是 试图 通过 增加 宛 余数 据 或 通过 分 组 数据 来 优化 数据 库 读 取 性 能 的 过 程 。 在 某 些 情况 下 ， 反 范式 是 解决 数据 库 性 能 和 可 伸缩 性 的 极 佳 策略 。 


范式 化 的 设计 是 在 不 同 的 有 关系 的 表 中 存储 不 同 的 信息 ， 如 果 需 要 查询 信息 往往 需要 连接 多 个 表 ， 如 果 连 接 的 表 很 多 ， 将 会 导致 很 多 随机 I/O， 那 么 查询 可 能 会 非常 慢 。 一 般 有 两 种 解决 方案 ， 一 种 做 法 
是 仍然 保持 范式 化 的 表 设计 ， 但 在 数据 库存 储 匈 余 信 息 来 优化 查询 响应 ， 由 数据 库 来 确保 元 余 副 本 数据 的 一 致 性 。 例 如 Oracle 的 物化 视图 技术 ，SQL Server 的 Indexed View 技 术 。 另 一 种 做 法 是 反 范式 的 数 
据 表 设计 。 由 于 多 了 匈 余数 据 ， 因 此 数据 的 一 致 性 需要 靠 数 据 库 约束 或 应 用 程序 来 保证 。 传 统 商 业 数 据 库 一 般 通 过 施加 数据 库 约束 来 确保 数据 的 一 致 性 ， 而 互联 网 数据 库 一 般 靠 应 用 程序 来 确保 数据 的 一 致 
性 。 


反 范式 的 好 处 是 减少 了 连接 ， 因 此 可 以 更 好 地 利用 索引 进行 筛选 和 排序 ， 对 于 一 些 查询 操作 可 以 提高 性 能 。 但 也 需要 清楚 一 个 事实 ， 那 就 是 元 余数 据 意味 着 更 多 的 写 入 ， 如 果 匈 余 的 数据 量 很 大 ， 还 可 
能 会 磁 到 I/O 瓶 颈 ， 这 会 导致 性 能 变 得 更 差 ， 所 以 需要 事先 衡量 对 各 个 表 的 更 新 量 和 查询 量 ， 评 估 对 其 他 查询 的 影响 ， 避 免 引 发 性 能 问题 。 匈 余数 据 也 意味 着 可 能 要 牺牲 部 分 数据 的 一 致 性 ， 我 们 有 必要 区 分 
不 同 数据 的 一 致 性 的 优先 级 ， 对 于 重要 的 、 比较 敏感 的 数据 一 定 要 注意 一 致 性 的 问题 ， 以 免 影响 用 户 的 体验 。 


参 着 开发 经 验 的 日 渐 丰富 ， 做 研发 的 读者 通常 都 会 逐渐 熟悉 范式 ， 创 建 一 个 合格 的 满足 第 三 范式 的 数据 库 设计 并 不 会 太 难 ; 而 对 于 反 范 式 设计 ， 由 于 不 熟悉 硬件 性 能 和 数据 库 机 制 ， 可 能 考虑 就 不 是 那 
么 周全 了 。 


反 范 式 设计 在 统计 分 析 、 数 据 仓库 等 领域 使 用 的 比较 多 ， 通 过 宛 余数 据 ， 增 加 各 种 统计 表 、 中 间 表 ， 数 据 可 以 更 快 地 被 加 载 和 分 析 。 


以 下 是 一 些 反 范式 的 例子 ， 一 般 的 方法 是 元 余 或 缓存 某 个 表 的 一 些 列 到 另 一 个 表 或 缓存 中 。 


1) 论坛 的 消息 表 forum_message 包 括 如 下 字段 : msg_ id、from_uid、to_uid、subject、message、post time。 由 于 表 中 只 存储 了 会 员 id 的 信息 ， 因 此 如 果 要 显示 发 送 给 某 个 用 户 (以 to_uid 标 识 
的 完整 消息 ， 还 需要 用 from_uid 去 连接 会 员 表 ， 获 取 会 员 的 姓名 ， 在 高 并 发 的 情况 下 ， 这 样 做 可 能 会 带 来 性 能 问题 ， 常 用 的 解决 方案 是 增加 1 个 元 余 字 段 from_uname 以 避免 JOIN。 


2) 反 范 式 可 以 更 好 地 利用 索引 进行 筛选 和 排序 ， 如 上 一 个 例子 1) 中 ， 如 果 需 要 按照 uname 对 消息 进行 排序 ， 则 需要 连接 会 员 表 ， 然 后 按照 uname 进 行 排序 ， 这 样 的 代价 比较 高 ， 增 加 宛 余 列 
uname， 并 在 其 上 创建 索引 ， 就 可 以 利用 索引 排序 很 快 地 返回 结果 。 对 于 多 个 列 的 筛选 排序 也 可 以 采用 类 似 的 优化 思路 ,例如 : 


select table a.* from table a join table b on table a.id=table b.id order by table a.col 1,table b.col 2; 


或 者 : 


select table a.* from table a join table b on table a.id=table b.id where table a.col 1=100 order table b.col 2; 


这 样 的 SQL 语 句 ， 由 于 排序 的 列 不 能 利用 到 索引 ， 因 此 需要 创建 临时 表 进 行 排序 ， 成 本 比较 高 。 可 以 考虑 在 table_a 表 中 见 余 col_ 2 列 ， 并 且 建 立 复合 索引 (col_1，col_2) 。 这 样 不 仅 可 以 不 用 JOIN 两 
张 表 ， 而 且 还 可 以 利用 索引 进行 排序 。 


3) 一 些 程序 ， 需 要 发 送 系统 信息 、 推 荐 信息 给 用 户 。 一 种 解决 方案 是 在 后 台 维 护 一 张 信 息 表 a_message， 发 布 新 消息 的 时 候 ， 给 t_message 表 的 每 个 用 户 插入 新 的 消息 jd。 用 户 登 录 后 检查 消息 表 
t_message 是 否 有 新 的 未 读 消息 ， 为 了 节省 空间 ，t_message 只 有 信息 id 而 没有 内 容 ， 这 在 大 量 用 户 登 录 的 情况 下 可 能 会 导致 性 能 问题 ， 因 为 每 次 查询 都 需要 JOIN 另 一 个 表 a_message 以 获取 内 容 。 为 了 以 
更 快 的 速度 加 载 数据 ， 可 以 在 发 布 信息 的 时 候 把 信息 内 容 一 并 插入 到 t_message 表 中 。 


4) 允 余 数据 也 可 以 放 在 缓存 中 ， 比 如 表 a， 如 果 用 户 姓名 已 经 缓存 在 某 个 缓存 产品 中 了 ， 如 memcached， 那 么 就 可 以 直接 从 缓存 中 获取 ， 而 不 需要 再 去 JOIN 数据 库 获取 用 户 姓名 了 。 同 样 的 ， 对 于 表 
5， 也 可 以 考虑 把 消息 内 容 放 到 缓存 里 。 


5) 一 些 统计 操作 ， 比 如 COUNT、SUM、MAX、MIN 等 操作 ， 如 果 计算 耗费 的 资源 比较 多 ， 可 以 考虑 增加 匈 余 的 统计 信息 ， 或 者 增加 额外 的 字段 ,或 者 增加 额外 的 表 ， 比 如 论坛 的 发 帖 统计 ， 用 户 在 
线 人 数 等 。 


例如 ， 对 于 发 帖 统计 ， 需 要 统计 最 近 24 小 时 的 发 帖 数 量 ， 我 们 可 以 每 个 小 时 插入 一 条 统计 数据 到 统计 表 ， 这 样 就 可 以 统计 最 近 24 小 时 的 数据 了 ， 虽 然 这 样 做 不 够 准确 ， 但 用 户 一 般 不 会 介意 这 种 数据 的 
不 准确 性 。 如 果 需 要 更 精确 的 统计 ， 可 以 在 前 23 个 小 时 使 用 统计 值 ， 最 近 1 个 小 时 使 用 实际 值 即 可 。 


6) 如 果 某 个 用 户 表 的 字段 比较 多 (如 uid、uname、upass、email、address、qq、msn.….) ， 数 据 量 很 大 ， 超 过 亿 级 别 ， 那 么 为 了 方便 扩展 ， 我 们 将 把 数据 分 片 到 多 个 表 中 ， 例 如 ， 我 们 对 uid 这 个 
整 型 字段 进行 求 模 运 算 ， 把 求 模 运 算 结 果 一 样 的 id 存放 到 同一 张 分 表 中 。 这 时 ， 用 户 需 要 以 uname 登 录 ， 查 询 uid， 以 便 到 分 表 中 去 查询 数据 。 因 此 可 以 增加 一 个 元 余 表 ， 只 存储 uname 和 uid 的 映射 关 
系 。 由 于 这 个 宛 余 表 仅 有 两 个 列 ， 因 此 虽然 数据 量 很 大 ， 但 完全 可 以 放 在 一 张 表 内 ， 也 方便 加 载 到 内 存 中 进行 访问 。 


i 要 求 数据 库 中 的 所 有 表 都 满足 范式 是 不 太 现实 的 ， 一 般 生 产 库 中 会 混合 使 用 范式 和 反 范 式 。 很 多 应 用 程序 的 数据 库 设计 ， 起 初 都 是 偏向 范式 化 的 ， 这 样 做 编码 会 简单 方便 ， 但 随 着 流量 上 涨 ， 
数据 量 增加 ， 往 往 会 碰 到 一 些 性 能 问题 ， 此 时 就 要 考虑 一 些 反 范式 设计 。 当 然 ， 大 致 估 测 到 以 后 的 流量 、 数 据 量 ， 并 能 够 预先 考虑 反 范 式 设计 会 更 好 。 建 议 开发 人 员 首先 创建 一 个 完全 规范 化 的 设计 ， 然 后 
为 了 性 能 原因 选择 性 地 对 一 些 表 进 行 反 范式 化 设计 。 我 们 要 牢记 一 个 准则 ， 设 计 的 数据 库 应 该 按照 用 户 可 能 的 访问 路 径 、 访 问 习惯 进行 设计 ， 而 不 是 严格 地 按照 数据 范式 来 设计 。 


4.2 ”权限 机 制 和 安全 


4.2.1 MySQL 访问 权限 系统 


1. 概 述 


MySQL 权 限 系统 的 主要 功能 是 证 实 连 接 到 一 台 给 定 主机 的 用 户 ， 并 且 赋 予 该 用 户 在 数据 库 上 的 各 种 权限 ， 一 般 生 产 环境 中 的 程序 账号 只 需要 SELECT、INSERT、UPDATE 和 DELETE 权 限 即 可 。 


MySQL 根 据 访问 控制 列表 (ACL) 对 所 有 连接 、 查 询 和 用 户 尝试 执行 的 其 他 操作 进行 安全 管理 。MySQL 将 验证 用 户 的 3 项 信息 : 用 户 名 、 密 码 、 主 机 来 源 。 对 通过 验证 的 用 户 再 确认 其 他 的 访问 权限 ， 
以 进行 访问 控制 。 


权限 可 以 分 为 两 类 : 系统 权限 和 对 象 选 项 。 


系统 权限 允许 执行 一 些 特定 的 功能 ， 如 关闭 数据 库 、 终 止 进程 、 显 示 数 据 库 列表 、 查 看 当前 执行 的 查询 等 。 对 象 权限 是 指 对 一 些 特殊 的 对 象 ( 表 、 列 、 视 图 、 数 据 库 ) 的 访问 权限 ， 例 如 是 否 允许 访问 
某 张 表 ， 是 否 允 许 在 某 个 库 中 创建 表 。 


一 般 不 允许 直接 更 改 MySQL 的 权限 表 ， 而 是 通过 GRANT 和 REVOKE 语 句 进行 权限 的 赋予 和 收回 ， 这 也 是 更 安全 可 靠 的 办 法 。 


GRANT 和 REVOKE 语 句 允 许 系 统管 理 员 创建 MySQL 
回收 已 经 存在 的 权限 。 


温 


长 户 、 授 予 权 限 和 撤销 权限 。 授 予 的 权限 可 以 分 为 多 个 级 别 : 服务 器 级 别 (全 局 ) 、 数 据 库 级 别 、 表 级 别 、 列 级 别 、 子 程序 级 别 。 撤 销 权限 即 


GRANT 和 REVOKE 的 基本 语法 如 下 所 示 。 


GRANT [privileges] ON [objects] TO [user] 
GRANT [privileges] ON [objects] TO [user] IDENTIFIED BY [password] 
REVOKE [privileges] ON [objects] FROM [user] 


MySQL 为 有 SUPER 权 限 的 用 户 专门 保留 了 一 个 额外 的 连接 ， 因 此 即使 是 所 有 的 普通 连接 都 被 占用 ，MySQL root 用 户 仍 可 以 登录 并 检查 服务 器 的 活动 。 


如 果 想 要 限制 单个 账户 允许 的 连接 数量 ， 可 以 通过 设置 max_user_connections 变 量 来 完成 。 


MySQL 人 允许 对 不 存在 的 数据 库 目标 授予 权限 。 这 个 特性 是 特意 设计 的 ， 目 的 是 允许 数据 库 管理 员 为 将 在 此 后 被 创建 的 数据 库 目标 预 留用 户 账户 和 权限 。 


当 在 GRANT 语句 中 指定 数据 库 名 称 时 ， 人 允许 使 用 “ ”和 “%” 通配符 。 这 意味 着 ， 如 果 想 要 使 用 “ ”字符 作为 一 个 数据 库 名 称 的 一 部 分 ， 则 应 该 在 GRANT 语句 中 指定 它 为 人 ”， 例 
如 ， “GRANT...ON ‘foo\ bar” .*TO...。” 


注意 SHOW TABLES 命 令 不 会 显示 用 户 没有 权限 访问 的 表 。 


MySQL 的 存储 过 程 、 触 发 器 、 视 图 都 可 以 提供 某 种 程度 的 安全 性 ， 但 不 建议 采用 以 上 特性 来 实现 安全 性 。 除 了 尽量 给 予 最 小 的 权限 外 ， 建 议 不 要 给 予 过 细 的 权限 ，MySQL 的 权限 精细 控制 并 不 完善 ， 
可 能 会 导致 维护 上 的 成 本 增加 。 


注意 不 要 重 复 利用 原来 的 用 户 名 。 
不 要 采取 给 相同 的 用 户 名 (但 来 自 于 不 同 的 主机 ) 赋予 不 同 权 限 的 方式 。 这 样 很 容易 造成 混淆 ， 导 致 维护 的 困难 ， 可 以 另外 创建 单独 的 账号 。 


2. 权 限 更 改 何 时 生效 


当 mysqld 启 动 时 ， 所 有 授权 表 的 内 容 将 被 读 进 内 存 并 且 从 此 时 开始 生效 。 当 服务 器 注意 到 授权 表 被 改变 了 时 ， 现 存 的 客户 端 连接 将 会 受到 如 下 影响 。 


“ 表 和 列 的 权限 在 客户 端的 下 一 次 请 求 时 生效 。 
“ 数据 库 的 权限 改变 在 下 一 个 USE db_name 命 令 生效 。 


“ 全 局 权限 的 改变 和 密码 改变 在 下 一 次 客户 端 连接 时 生效 。 


如 果 使 用 GRANT、REVOKE 或 SET PASSWORD 命 令 对 授权 表 进 行 修改 ， 那 么 服务 器 会 注意 到 更 改 并 立即 将 授权 表 重 新 载 入 内 存 。 


启 服务 器 。 


3. 常 用 的 权限 


SHOW PRIVILEGES 命 令 可 以 显示 MySQL 所 支持 的 权限 ， 如 下 是 一 些 常用 的 权限 。 


如 果 手 动 地 修改 授权 表 (使 用 NSERT、UPDATE 或 DELETE 等 ) ， 则 应 该 执行 mysqladmin flush-privileges 或 mysqladmin reload 告 诉 服务 器 再 重新 装载 授权 表 ， 否 则 手动 的 更 改 将 不 会 


E 效 ， 除 非 重 


: SELECT、INSERT、UPDATE 和 DELETE 权 限 允 许 用 户 在 一 个 数据 库 现 有 的 表 上 实施 读 取 、 插 入 、 更 新 和 删除 记录 的 操作 。 这 也 是 一 般 程序 账号 所 需要 的 权限 。 


“SHOW VIEW 权限 允许 用 户 查 看 已 经 创建 了 的 视图 。 

: ALTER 权 限 允 许 用 户 使 用 ALTER TABLE 命 令 来 修改 现 有 数据 表 的 结构 。 

“ CREATE 和 DROP 权 限 允 许 用 户 创建 新 的 数据 库 和 表 ， 或 者 删除 现存 的 数据 库 和 表 。 生 产 环境 中 一 般 不 赋予 程序 账号 DROP 的 权限 。 
: GRANT 权限 允许 用 户 把 自己 拥有 的 权限 授予 其 他 的 用 户 。 

:FILE 权限 允许 被 授予 该 权限 的 用 户 都 能 读 或 写 MYSQL 服务 器 能 读 写 的 任何 文件 。 


“ SHUTDOWN 权限 允许 用 户 使 用 SHUTDOWN 命 令 关 掉 服务 器 。 可 以 创建 一 个 用 户 专门 用 来 关闭 服务 器 。 


“ PROCESS 权 限 允 许 用 户 使 用 PROCESSLIST 命 令 显 示 在 服务 器 内 执行 的 进程 的 信息 ; 使 用 KILL 命 令 终止 服务 器 进程 。 用 户 总 是 能 显示 或 终止 自己 的 进程 ， 但 是 ， 显 示 或 终止 其 他 用 户 启动 的 进程 则 需 


要 PROCESS 权 限 。 一 些 监控 工具 需要 PROCESS 权 限 查 看 正在 执行 的 命令 。 


4. 示 例 


(1) 查看 和 赋予 权限 


查看 数据 库 的 用 户 、 密 码 、 主 机 字符 串 的 命令 如 下 。 


mysql > SELECT user,host,password FROM user; 


显示 某 个 用 户 的 权限 的 命令 如 下 。 


SHOW GRANTS FOR username@'ip range'; 


赋予 某 个 用 户 对 库 db1 进 行 SELECT、INSERT、UPDATE 和 DELETE 的 权限 的 命令 如 下 。 


GRANT SELECT,INSERT,UPDATE,DELETE ON dbl.* TO username@'10.%' IDENTIFIED BY ‘your Password'7 


(2) 赋予 备份 用 户 权限 


赋予 备份 整个 实例 权限 的 命令 如 下 。 


赋予 远程 备份 各 个 库 权 限 的 命令 如 下 。 


GRANT LOCK TABLES, SELECT,RELOAD, SHOW VIEW,trigger ON *.* TO backup@'10.10.10.10' IDENTIFIED BY 'xxxxxx'; 


还 有 一 些 常用 的 权限 ， 如 配置 复制 时 ， 复 制 用户 需 要 REPLICATION SLAVE 权 限 ， 查 看 复制 状态 需要 REPLICATION CLIENT 权限 。 大 家 可 以 阅读 官方 文档 来 进一步 了 解 具体 的 权限 。 


(3) 修改 用 户 密码 


可 以 使 用 SET PASSWORD 命 令 更 改 密码 。 


mysql>SET PASSWORD FOR user@'ip range' = PASSWORD('some password'); 


或 者 使 用 GRANT 命令 重新 赋予 用 户 连 接 密码 。 


mysql>GRANT USAGE ON *.* TO user@'ip range' IDENTIFIED BY "some password'; 


或 者 可 以 使 用 如 下 命令 直接 修改 系统 表 。 


shell> mysql -u root 
mysql> UPDATE mysql.user SET PASSWORD=PASSWORD ('newpwd') 


WHERE user="'root'; 


mysql> FLUSH PRIVILEGES; 


(4) 强化 安全 


安装 完 MySQL 之 后 ， 一 定 要 移 除 匿名 账号 和 空 密码 账号 。 


注意 MysQL 用 户主 机 字符 串通 配 答 “%” 


TCP 端 口 ， 正确 的 写法 应 该 是 “mysql-uroot-h wR 


4.2.2 ”强化 安全 


体操 作 请 参考 2.2 节 。 


不 包括 “localhost”。 


本 节 将 描述 一 些 常见 的 需要 注意 的 安全 问题 ， 以 及 一 些 可 以 使 MySQL 安装 更 加 安全 的 、 防 止 黑客 和 误 操 作 的 措施 。 


强化 安全 的 目的 有 如 下 三 点 。 


“ 保护 好 MYSQL 主 机 的 安全 ， 同 时 也 需要 关注 其 他 能 访问 数据 库 的 主机 的 安全 。 


' 确保 MySQL 自 身 的 安全 ， 


“ 确保 网 络 、 物 理 的 安全 ， 同 时 也 需要 关注 信息 内 容 的 保密 。 


下 面 是 一 些 安全 的 指导 原则 和 注意 事项 。 


:加强 安 全 意识 。 比 如 加 密 办 公 电 


[zy 


包括 生产 库 和 备份 ， 应 使 用 强 密码 ， 尽 可 能 分 配 最 小 的 权限 给 用 户 。 


“ 一 般 将 所 有 数据 库 都 部 署 于 内 网 ( 仅 监听 内 网 IP) ， 需 要 慎重 对 待 跨 IDC 的 数据 库 同步 ,MySQL 自身 并 没有 很 好 的 方式 加 密 数 据 传 输 。 


“ 开放 外 网 访问 的 MySQL 服 务 器 ， 需 要 有 相应 的 访问 控制 策略 ， 例 如 通过 部 署 防火 墙 来 限制 来 源 IP。 


“ 如 果 条 件 允许 ， 应 该 增加 网 络 安全 团队 进行 安全 检查 和 审计 。 


“ 在 不 安全 的 网 络 环境 中 访问 公司 或 远程 维护 机 器 ， 建 议 使 用 VPN。 


“ 不 要 让 任何 人 《除了 MySQL root 账 户 ) 访问 MySQL 数 据 库 中 的 mysql 系 统 库 ! 


" 用 GRANT 和 REVOKE 语 身 来 控制 对 MySQL 的 访问 。 不 要 授予 超过 需求 的 权限 。 绝 对 不 能 为 所 有 主机 授权 。 


“ 不 要 给 程序 账号 授予 SUPER 权 限 。 


“ 生产 库 上 不 要 留 研发 人 员 的 账号 。 


“ 隔离 生产 环境 、 开 发 环境 和 测试 环境 ， 不 允许 研发 、 测 试 人 员 有 权限 更 改 生产 环境 或 知道 生产 环境 的 账号 密码 。 


“ 初始 安装 后 应 该 移 除 匿名 和 空 密码 账号 ， 可 以 尝试 用 “mysql-u root”， 如 果 你 能 够 成 功 连接 服务 器 而 没有 要 求 /输入 任何 密码 ， 则 说 明 有 问题 。 


“localhost” 和 IP 地 址 “127.0.0.1” 并 不 等 同 ， 如 果 使 用 “mysql-uroot-h localhost”， 则 默认 会 去 连接 socket 文 件 。 如 果 我 们 要 连接 


商 、 个 人 笔记 本 上 的 重要 数据 ， 不 要 将 未 加 密 的 数据 上 传 到 各 种 公共 云 存 储 中 。 在 不 安全 的 网 络 环境 下 ， 比 如 一 些 公共 Wi-Fi 中 ， 涉 及 账号 的 操作 可 能 会 泄露 你 的 信 


“ 不 要 将 纯 文本 密码 保存 到 数据 库 中 ， 不 要 从 字典 中 选择 密码 ， 如 果 你 的 程序 是 一 个 客户 端 ， 必 须 用 可 读 的 方式 存储 密码 ， 那 么 建议 使 用 可 解码 的 加 密 办 法 来 存储 。 一 些 工具 ， 如 telnet、ftp， 使 用 的 是 


明文 传输 密码 ， 建 议 不 要 使 用 ， 使 用 ssh、sftp 是 更 安全 的 方式 。 


“ 使 用 更 安全 的 算法 加 密 密 码 ， 一 些 流行 算法 ， 如 MD5 已 经 被 证 明 是 弱 加 密 ， 不 适合 用 于 加 密 密 码 。 曾 经 比较 流行 的 散 列 算法 SHA-1 也 被 证 明 不 够 安全 。 推 荐 的 方式 是 在 将 密码 传 入 散 列 函 数 进行 加 密 
之 前 ， 将 其 和 一 个 无 意义 的 字符 串 拼 接 在 一 起 ， 这 样 即使 用 户 选 择 了 一 个 在 字典 中 存在 的 单词 作为 密码 ， 攻 击 者 也 很 难 使 用 字典 攻击 的 手段 破解 密码 。 


' 试 试 从 Internet 上 使 用 工具 扫描 端口 ， 或 者 使 用 shell 命 令 shell>telnet server_host 3306， 如 果 得 到 连接 并 得 到 一 些 垃圾 


够 合理 的 理由 


“ 避免 SQL 注入 ， 不 要 信任 应 用 程序 的 用 户 输 入 的 任何 数据 。 


让 它 开 着 。 


空 和 儿 


字符 ， 


则 端口 是 打开 着 的 ， 这 种 情况 应 从 防火 墙 或 路 由 器 上 关闭 端口 ， 除 非 你 有 足 


: 有 时 候 人 们 会 认为 如 果 数 据 库 只 包含 供 公共 使 用 的 数据 ， 则 不 需要 保护 。 这 是 不 正确 的 。 即 使 允许 显示 数据 库 中 的 任何 记录 ， 也 仍然 应 该 保护 和 防范 、 拒 绝 服务 攻击 。 


“ 不 要 向 非 管理 用 户 授予 FILE 权 限 。 拥 有 FILE 权 限 的 任何 用 户 都 能 在 拥有 mysqld 守 护 进程 权限 的 文件 系统 里 写 入 一 个 文件 ! 


“ FILE 权 限 也 可 以 被 用 来 读 取 任何 作为 运行 服务 器 的 Unix 用 户 可 读 取 或 访问 的 文件 。 使 用 该 权限 ， 可 以 将 任何 文件 读 入 数据 库 表 。 这 可 能 会 被 滥用 ,例如 ， 通 过 使 用 LOAD DATA 装 
载 “/etc/passwd” 进 入 一 个 数据 库 表 ， 然 后 就 能 用 SELECT 显 示 它 。 


也 可 以 考虑 加 密 传输 HTTPS 和 SSH tunnnel 
权限 控制 则 是 更 经 济 、 更 标准 化 的 做 法 ， 总 之 ， 


研发 人 员 、 测 试 人 员 也 有 必 


1. 会 话 劫持 


由 于 HTTP 是 无 状态 的 ， 客 户 端 到 服务 器 端 并 不 需要 维持 一 个 连接 ， 因 此 需要 有 一 种 关联 的 手段 ， 基 于 


的 。 生 成 的 
交 的 请 求 。se 


以 标识 客户 信息 的 cookie 一 般 被 称 为 session id， 


熟悉 目前 常 


ssion 保 存 的 是 每 个 


和 密码 来 比较 。 


攻击 者 通过 一 些 手段 来 获取 其 他 


可 以 获取 到 


户 的 session id， 然 


如 果 使 


户 的 个 人 数据 ， 一 般 的 Web 应 


后 可 以 冒 


了 HTTPS 加 密 传输 ， 那 么 


程序 会 使 


时 论 上 可 以 防止 响 探 ， 但 实际 上 ，HTTPS 在 世界 范围 


session 来 保存 通过 验证 的 


内 远 未 普及 开 来 ， 许 多 网 站 登录 的 时 候 使 


等 方案 ， 这 些 措施 将 会 更 安全 ， 但 成 本 比较 高 ， 实 施 起 来 往往 会 受制 于 其 他 | 
需要 在 安全 和 方便 上 达到 一 个 平衡 。 


户 session id 的 攻击 就 叫 session 劫 持 。 一 个 典型 的 场景 是 在 未 加 密 的 Wi-Fi 网 络 中 ， 由 于 session id 在 
户 进行 各 种 操作 。 除 了 嗅 探 外 ， 还 有 一 些 其 他 的 手段 ， 如 跨 站 脚本 攻击 、 暴 力 破解 、 计 算 等 。 


素 。 相 对 来 说 ， 从 应 


的 一 些 攻击 手段 的 原理 和 预防 ， 如 会 话 (session) 劫持 、 中 间 人 攻击 、SQL 注 入 、 跨 站 脚本 攻击 等 。 


慨 做 一 些 安全 措施 、 在 硬件 防火 墙 中 设置 规则 及 MySQL 


firebug 查 看 这 个 值 。 
页 时 ， 如 果 需 要 验证 


此 ， 服 务 器 会 给 新 的 会 话 一 个 标识 信息 : cookie。 在 PHP 环 境 中 ，cookie 默 认 是 存储 在 /tmp 下 
户 发 出 请 求 时 ， 所 发 送 的 HTTP 请 求 header 内 包含 了 session id 的 值 ， 可 上 
户 账 号 和 密码 。 在 转换 不 同 的 网 


肛 务 器 使 用 session id 来 识别 是 哪个 用 户 提 
户 的 身份 ， 就 要 用 session 内 所 保存 的 账号 


的 请 求 内 而 且 是 不 加 密 的 (未 使 


HTTPS) ， 通 过 嗅 探 工 


了 HTTPS， 登 录 成 功 后 仍然 返回 了 HTTP 会 话 ， 一 些 网 站 虽然 支持 


HTTPS， 但 并 不 作为 默认 选项 ， 目 前 已 知 的 网 站 中 gmail 是 默认 全 部 使 用 了 HTTPS 会 话 的 ， 但 常用 的 各 种 社交 网 站 、 电 商 网 站 大 多 只 是 部 分 采用 HTTPS。 因 为 HTTPS 无 法 实现 缓存 、 响 应 变 得 缓慢 、 运 营 成 
本 高 、 虚 拟 主 机 无 法 在 同一 台 物理 服务 器 上 为 多 个 网 站 提供 服务 、 和 其 他 不 支持 HTTPS 应 用 的 交互 ， 以 上 种 种 因素 都 制约 着 HTTPS 的 普及 。 


2. 中 间 人 攻击 


中 间 人 攻击 能 够 成 功 的 一 个 前 提 条 件 是 攻击 者 能 将 
可 以 验证 参与 通信 的 一 方 或 双方 使 


中 间 人 攻击 是 指 攻击 者 在 通信 的 两 端 分 别 创建 独立 的 连接 ， 并 交换 其 所 收 到 的 数据 ， 使 通信 的 两 端 认 为 他 们 正在 通过 一 个 私密 的 连接 与 对 方 直接 对 话 ， 但 事实 上 整个 会 话 都 被 攻击 者 完全 控制 〈 例 如 ， 
在 一 个 未 加 密 的 Wi-Fi 无 线 接 入 点 的 中 间 人 攻击 者 ， 可 以 将 


己 作 为 一 个 中 间 人 插入 这 个 网 络 ) 。 


自己 伪装 成 每 一 个 参与 会 话 的 终端 ， 并 且 不 被 其 他 终端 识破 。 大 多 数 的 加 密 协议 都 专门 加 入 了 一 些 特殊 的 认证 方法 以 阻止 中 间 人 攻击 。 例 如 ，SSL 协 议 


3. 跨 站 脚本 攻击 


跨 站 脚本 攻击 (Cross Site Scripting) 是 指 攻击 者 利 


的 证 书 是 否 由 权威 的 受信 任 的 数字 证 书 认 证 机 构 颁 发 ， 并 且 能 执行 双向 身份 认证 。 


网 站 程序 对 用 户 输 入 过 滤 不 足 ， 输 入 可 以 显示 在 页 面 上 对 其 他 用 户 造成 影响 的 HTML 代 码 ， 从 而 盗 取 用 户 资料 、 利 用 用 户 身份 进行 某 种 动作 ， 或 


者 对 访问 者 进行 病毒 侵害 的 一 种 攻击 方式 。 针 对 这 种 攻击 ， 主 要 应 做 好 输入 数据 的 验证 ， 对 输出 数据 进行 适当 的 编码 ， 以 防止 任何 已 成 功 注入 的 脚本 在 浏览 器 端 运行 。 


以 下 将 详细 介绍 SQL 注入 攻击 的 原理 和 预防 ， 这 也 是 DBA 需 要 重点 考虑 的 。 


4.2.3 SQL 注入 


SQL 注入 (SQL Injection) 攻击 是 发 生 在 应 有 


程序 中 的 数据 库 层 的 安全 漏洞 。 简 而 言 之 ， 是 在 输入 的 字符 串 之 中 注入 SQL 语句 ， 如 果 在 设计 不 良 的 程序 中 忽略 了 检查 ， 那 么 这 些 注入 进去 的 SQL 语句 就 


会 被 数据 库 服务 器 误 认为 是 正常 的 SQL 语句 而 运行 ， 攻 击 者 就 可 以 执行 计划 外 的 命令 或 访问 未 被 授权 的 数据 。SQL 注 入 已 经 成 为 互联 网 世界 Web 应 用 程序 的 最 大 风险 。 我 们 有 必要 从 开发 、 测 试 、 上 线 各 个 
环节 对 其 进行 防范 。 以 下 将 介绍 SQL 注入 的 原理 及 如 何 预防 SQL 注入 。 


SQL 注入 的 原理 有 如 下 4 点 


1) 拼接 恶意 查询 。SQL 命 令 可 查询 、 插 入 、 更 新 、 删 除数 据 ， 以 分 号 字符 分 隔 不 同 的 命令 。 


例如 : 


select * from users where user id = $user id 


user id 是 传 入 的 参数 ， 如 果 传 入 了 “1234;delete from users”， 那 么 最 终 的 查询 语句 会 变 为 : 


select * from users where user id = 1234; delete from users 


如 上 语句 如 果 执 行 ， 则 会 删除 user 表 的 数据 。 


2) 利 


例如 : 


注释 执行 非法 命令 。SQL 命 令 中 ， 可 以 插入 注释 。 


select count (*) as "num' from game score where game jd=24411 and Platform id=11 and version=$version and session id = sessid='d7al57-0f-48b6-98-c35592' 


如 果 version 包 含 了 恶意 的 字符 串 “-1'OR 3 AND SLEEP(500)--”， 那 么 最 终 查询 语句 会 变 成 下 面 这 个 样子 : 


select count (*) as "num' from game score where game id=24411 and Platform jd=11 and version='-1' OR 3 AND SLEEP(500)-- ' and session id = sessid='d7al57-0f-48b6-98-c35592' 


以 上 恶意 查询 只 是 想 耗 尽 系统 资源 ，SLEEP(500) 将 导致 SQL 一 直 


运行 ， 如 果 添 加 了 修改 、 删 除数 据 的 恶意 指令 ， 将 会 造成 更 大 的 破坏 。 


3) SQL 命令 对 于 传 入 的 字符 串 参 数 是 用 单 引 号 引起 来 的 。 如 果 字 符 串 本 身 包含 单 引号 而 没有 被 处 理 ， 则 可 能 会 纂 改 原本 的 SQL 语法 的 作用 。 


例如 : 


select * from user name where user name = $user name 


如 果 user_name 传 入 的 是 G'chen， 那 么 最 终 的 查询 语句 会 变 成 这 样 : 


select * from user name where user name ='G'chen' 


以 上 语句 将 会 出 错 ， 这 样 的 语句 风险 比较 小 ， 


4) 添加 


例如 : 


一 些 额外 的 条 件 为 真 值 表达 式 ， 改 变 执行 行为 。 


因为 语法 错误 的 SQL 语句 不 会 被 执行 。 但 也 可 能 恶意 产生 的 SQL 语句 ， 没 有 任何 语法 错误 ， 并 且 以 一 种 你 不 期 望 的 方式 运行 。 


update users set userpass=SHA2('$userpass') where user id=$user id; 


如 果 user_id 被 传 入 恶意 的 字符 


“1234 OR TRUE”， 最 终 的 SQL 语 句 会 变 成 下 面 这 样 : 


update users set userpass=SHA2('123456') where user id=1234 OR TRUE; 


这 将 更 改 所 有 用 户 的 密码 。 


下 面 是 避免 SQL 注入 的 一 些 方法 。 


(1) 过 滤 输 入 内 容 ， 校 验 字符 串 


应 该 在 将 数据 提交 到 数据 库 之 前 ， 就 把 用 户 输入 中 的 不 合法 字符 史 除 掉 。 可 以 使 用 编程 语言 提供 的 处 理 函 数 ， 如 PHP 的 mysql_real_escape_string() 来 剔除 ， 或 者 定义 自己 的 处 理 函 数 进行 过 滤 ， 还 可 以 
使 用 正则 表达 式 匹 配 安全 的 字符 串 。 


如 果 值 属于 特定 的 类 型 或 有 约定 的 格式 ， 那 么 在 拼接 SQL 语句 之 前 就 要 进行 校 输 ， 验 证 其 的 有 效 性 。 比 如 对 于 某 个 传 入 的 值 ， 如 果 可 以 确定 是 整 型 ， 那 么 我 们 要 判断 下 它 是 否 为 整 型 ， 不 仅 在 浏览 器 端 
(客户 端 ) ， 而 且 在 服务 器 端 也 需要 进行 验证 。 


(2) 参数 化 查询 


参数 化 查询 目前 已 被 视 作 是 最 有 效 的 预防 SQL 注入 攻击 的 方法 。 不 同 于 在 SQL 语句 中 插入 动态 内 容 ， 查 询 参数 的 做 法 是 在 准备 查询 语句 的 时 候 ， 就 在 对 应 参数 的 地 方 使 用 参数 占 位 符 。 然 后 ， 在 执行 这 
个 预先 准备 好 的 查询 时 提供 一 个 参数 。 


在 使 用 参数 化 查询 的 情况 下 ， 数 据 库 服务 器 不 会 将 参数 的 内 容 视 为 SQL 指令 的 一 部 分 来 进行 处 理 ， 而 是 在 数据 库 完成 SQL 指令 的 编译 之 后 ， 才 套用 参数 运行 ， 因 此 就 算 参数 中 含有 破坏 性 的 指令 ， 也 不 
会 被 数据 库 所 运行 。 


可 以 使 用 MySQLi 扩 展 或 pdo 扩 展 来 绑 定 参数 实现 参数 化 查询 。 


如 下 是 一 个 使 用 MySQLi 扩 展 绑 定 参数 的 示例 。 


<html> 
<head> 
<title> test parameter query </title> 
</head> 
<body> 
<?2php 
$host="127.0.0.1"; 
S$port=3306; 
$socket=""; 
$user="garychen"; 
$password="garychen"; 
$dbname="employees"; 
$con = new mysqli ($host, $user, S$password, $dbname, $port, $socket) 
or die ('Could not connect to the database server' . mysqli connect error()); 
echo 'connect to employees database successfully'; 
echo "<br />"; 
echo "select departments table using parameter"; 
echo "<br />"; 
$query = "select * from departments where dept name = ?2"; 
if ($stmt = $con->prepare ($query)) { 
$stmt->bind param("s", $depname); 
$depname="Finance"; 
$stmt->execute (); 
$stmt->bind result ($fielgdl, $fielgd2); 
while ($stmt->fetch()) { 
printf("%s, %s\n", $fieldl, $field2); 
echo "<br />"; 


} 

$stmt->close (); 
$con->close (); 
?> 


</body> 
</html> 


上 例 首 先是 预 处 理 语句 if($stmt=$con->prepare($query))， 然 后 绑 定 参数 使 用 bind_param() 方 法 ， 该 方法 的 语法 格式 如 下 所 示 。 


bool mysqli stmt::bind param ( string $types , mixed &$varl [, mixed &$http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/. 


其 中 ，types 指 定 绑 定 参数 的 类 型 包含 了 一 个 或 多 个 字符 。| 代 表 整 型 ，D 代 表 双 精度 ，S 代 表 字 符 串 ，B 代 表 BLOB 类 型 ， 本 例 中 是 5。 


但 是 绑 定 参数 也 有 如 下 一 些 限制 。 


“ 不 能 让 占 位 符 “?” 代 替 一 组 值 ， 例 如 : 


SELECT * FROM departments WHERE userid IN ( ? ); 


“ 不 能 让 占 位 符 “?” 代 替 数 据 表 名 或 列 名 ， 例 如 : 


SELECT * FROM departments ORDER BY ?7 


“ 不 能 让 占 位 符 “?” 代 替 SQL 关 键 字 ， 例 如 : 


SELECT * FROM departments ORDER BY dept no ?7 


对 于 Java、JSP 开 发 的 应 用 ， 也 可 以 使 用 预 处 理 语句 加 绑 定 参数 的 方式 来 避免 SQL 注入 。 


(3) 安全 测试 、 安 全 审计 


除了 开发 规范 ， 还 需要 流程 、 机 制 和 合适 的 工具 来 确保 代码 的 安全 。 我 们 应 该 在 开发 过 程 中 对 代码 进行 审查 ， 在 测试 环节 使 用 工具 进行 扫描 ， 上 线 后 定期 扫描 安全 漏洞 。 通 过 多 个 环节 的 检查 ， 一 般 是 
可 以 避免 SQL 注入 的 。 


有 些 人 认为 存储 过 程 可 以 避免 SQL 注 入 ， 存 储 过 程 在 传统 行业 里 用 得 比较 多 ， 对 于 权限 的 控制 是 有 一 定 用 处 的 ， 但 如 果 存 储 过 程 用 到 了 动态 查询 ， 拼 接 SQL， 那 就 一 样 会 存在 安全 隐患 。 一 些 编程 框架 
对 于 写 出 更 安全 的 代码 也 有 一 定 的 帮助 ， 因 为 它 提 供 了 一 些 处 理 字符 串 的 函数 和 使 用 查询 参数 的 方法 ， 但 同样 ， 你 仍然 可 以 编写 出 不 安全 的 SQL 语句 。 所 以 归根 到 底 ， 我 们 需要 有 良好 的 编码 规范 ， 并 能 充 
分 利用 参数 化 查询 、 字 符 串 处 理 和 参数 校 验 等 多 种 办 法 来 实现 安全 。 


4.3” 慢 查询 日 志 


慢 查询 日 志 可 以 用 来 定位 执行 时 间 很 长 的 查询 ， 它 是 我 们 常用 的 性 能 分 析 工具 ， 通 过 在 开发 、 测 试 期 间 关 注 慢 查询 ， 我 们 可 以 尽量 避免 引入 效率 很 差 的 查询 。 以 下 将 介绍 慢 查询 日 志 的 分 析 策 略 和 常 
的 工具 。 


4.3.1 ”查看 慢 查 询 日 志 


1. 优 化 策略 


性 能 优化 的 一 个 很 重要 的 步骤 是 识别 导致 问题 的 BAD SQL。 对 于 一 般 的 数据 库 调 优 ， 调 优 人 员 往 往 会 采用 调 优 TOP 10 的 策略 ， 如 果 我 们 把 最 “昂贵 ”的 10 个 查询 优化 完 (更 高 效 地 运行 它们 ， 例 如 添 
加 一 个 索引 ) ， 那 么 就 会 立即 看 到 对 整体 MySQL 的 性 能 的 提升 。 然 后 就 可 以 重复 这 一 过 程 ， 并 优化 新 的 前 10 名 的 查询 。 就 笔者 经 验 而 言 ， 一 般 一 两 轮 迭 代 就 足够 了 。 以 后 随 着 业务 发 展 、 用 户 流量 增加 ， 可 
进行 新 的 一 轮 调 优 。 


2. 慢 查询 日 志 的 格式 


不 同 数据 库 TOP 10 基 于 的 标准 可 能 不 太一 样 ， 商 业 数 据 库 提 供 了 更 完善 的 成 本 分 析 方 法 ，MySQL 的 慢 查询 日 志 比较 粗略 ， 主 要 是 基于 以 下 3 项 基本 的 信息 。 


' Query_time: 查询 耗 时 。 
* Rows_examined: 检查 了 多 少 条 记录 。 
“ Rows_sent: 返回 了 多 少 行 记 录 (结果 集 ) 。 


以 上 3 个 值 可 以 大 致 衡量 一 条 查询 的 成 本 。 


: Time: 执行 SQL 的 开始 时 间 。 
: Lock_time: 等 待 table lock 的 时 间 ， 注 意 InnoDB 的 行 锁 等 待 是 不 会 反应 在 这 里 的 。 
“ User(@Host: 执行 查询 的 用 户 和 客户 端 IP。 


以 下 是 一 个 慢 查询 日 志 的 例子 。 


# Time:11062210:11:16 
# User@Host: rss[rss] @ [12.12.12.12] 
# 


Query time:1.637992Lock time:0.000038Rows_sent:0Rows examined:101 


SET timestamp=1308708676; 
select * from rss_ docl where feed id=5850 order by doc id desc limit190,10; 


其 中 ，Query time、Rows_examined、Rows_sent 这 3 个 值 可 以 大 致 衡量 一 条 查询 的 成 本 。 


如 果 检 查 了 大 量 记录 ， 而 只 返回 很 小 的 结果 集 ， 则 往往 意味 着 查询 质量 不 佳 。 慢 查询 日 志 可 以 用 来 找到 执行 时 间 很 长 的 查询 ， 可 以 用 于 优化 。 但 是 ， 检 查 又 长 又 慢 的 查询 日 志 会 很 困难 。 要 想 使 其 变 得 
容易 些 ， 可 以 使 用 mysqldumpslow 命 令 获得 慢 查 询 日 志 摘 要 来 处 理 慢 查询 日 志 ， 或 者 使 用 更 好 的 第 三 方 工具 pt-query-digest。 


注意 ， 慢 查询 日 志 里 的 慢 查 询 不 一 定 就 是 不 良 SQL， 还 可 能 是 受 其 他 的 查询 影响 ， 或 者 受 系统 资源 限制 所 导致 的 慢 查 询 。 比 如 下 面 的 例子 ， 会 话 被 阻塞 了 ， 实 际 上 是 一 个 行 锁 等 待 50s 超 时 ， 然 后 记录 到 
了 慢 查询 日 志 里 。 


# Query time: 50.665866 Lock time: 0.000102 Rows_sent: 0 Rows examined: 0 
SET timestamp=1339728734; 
update tbl rankings set status=2 where ranking=1; 


3. 如 何 识别 需要 关注 的 SQL 


以 下 是 识别 需要 关注 的 SQL 的 步 又。 


第 一 步 ， 确 认 已 经 开启 了 慢 查询 日 志 ， 并 记录 了 合理 的 阔 值 。 


MySQL 可 以 把 慢 查询 日 志 记录 到 数据 表 内 ， 但 更 普遍 的 做 法 是 记录 到 日 志 里 ， 然 后 使 用 工具 来 分 析 。 


以 下 的 命令 将 查看 慢 查询 是 否 启 用 了 ， 以 及 慢 查询 的 日 志 路 径 。 


mysql> show variables like'%query log%'; 


| slow query log | ON 
| slow query 1og file |/path/to/1093304/slowquery.1log | 
+-----=-----=---=----- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
2rows in set (0.00sec) 


MySQL 5.1 可 以 动态 打开 示例 中 提 到 的 slow_query log 选 项 。 


如 果 配 置 文件 或 启动 参数 没有 给 出 file_name 值 ， 慢 查询 日 志 将 默认 命名 为 “主机 名 -slow.log”， 如 果 给 出 了 文件 名 ， 但 不 是 绝对 路 径 名 ， 文 件 则 写 入 数据 目录 。 


语句 执行 完成 并 且 所 有 锁 释 放 后 则 记 入 慢 查询 日 志 。 记 录 的 顺序 与 执行 顺序 可 以 不 相同 。 


我 们 可 以 在 MySQL 客 户 端 下 使 用 命令 “SHOW VARIABLES LIKE'%query time9%'” 查 看 全 局 变量 long_query time。 所 有 执行 时 间 超过 long_query time 秒 的 SQL 语句 都 会 被 记录 到 慢 查 询 日 志 里 。 


MySQL 人 参数 long_query_time 默 认 的 2s 阅 值 太 大 ， 可 能 不 适用 ， 对 于 一 般 的 OLTP 应 用 ， 建 议 将 阐 值 设置 得 更 小 ， 比 如 200~500ms。 有 时 手动 调整 了 某 变量 的 值 ， 且 需要 永久 变更 ， 这 时 则 要 注意 全 局 
变量 的 值 应 和 配置 文件 保持 一 致 ， 配 置 文件 的 参数 示例 如 下 所 示 。 


[mysqld] 

slow query 10g=1 

slow query 1l0g file=/usr/local/mysql/1og/slowquery.1lo 
long query time=0.5 


其 中 ，slow_query log 设 置 为 1 表示 开启 慢 查询 日 志 ， 设 置 为 0 则 表示 关闭 慢 查询 日 志 。long_query time 的 单位 为 秒 ，MySQL 5.1.21 后 可 以 设置 毫秒 级 的 慢 查 询 记录 ， 如 设置 


long_query time=0.01。 


MySQL 5.0 慢 查询 的 参数 是 不 一 样 的 ， 且 需要 重启 后 才 可 以 生效 ， 相 关 的 参数 为 log_slow_queries 和 slow_launch_time。 


另外 有 一 个 参数 log-queries-not-using-indexes， 用 于 指定 如 果 没 有 使 用 到 索引 或 虽然 使 用 了 索引 但 仍然 遍历 了 所 有 记录 ， 就 将 其 记录 下 来 。 默 认 此 选项 是 关闭 的 。 


@@ 注 总 对 于 持久 连接 〈 长 连接 ) 、 连 接 池 这 类 情况 ， 由 于 不 能 重 置 session 会 话 的 变量 ， 因 此 即使 修改 了 long query_time 的 值 ， 也 不 能 马上 生效 ， 这 会 给 我 们 带 来 一 些 困扰 ， 不 过 ， 使 用 短 连 接 或 使 用 
Percona 版 本 的 MYSQL 可 以 解决 此 问题 。 但 对 于 测试 人 员 或 开发 人 员 来 说 ， 这 点 是 很 方便 调整 和 验证 的 ， 重 启 应 用 或 重 连 数 据 库 即 可 解决 此 问题 。 


4.3.2 ”使 用 工具 分 析 慢 查询 日 志 


从 前 面 的 内 容 可 知 ，Query_time、Rows_examined、Rows_sent 这 3 个 信息 让 我 们 看 到 了 查询 需要 优化 什么 。 查 询 时 间 最 长 的 SQL 往 往 是 最 需要 优化 的 ， 如 果 检 查 了 大 量 记录 (Rows_examined) ， 
而 只 返回 很 小 的 结果 集 (Rows_sent) ， 往 往 也 意味 着 存在 不 良 SQL。 但 在 一 个 高 并 发 的 数据 库 服务 上 ， 或 者 在 做 压力 测试 时 ， 如 果 发 现 慢 查询 日 志 增 长 得 非常 快 ， 很 难 筛选 和 查找 里 面 的 信息 ， 那 么 在 这 
种 情况 下 ， 有 如 下 两 种 选择 。 


“ 调整 阅 值 ， 先 设置 为 较 大 的 阅 值 ， 这 样 慢 查 询 记 录 就 很 少 了 ， 等 优化 得 差不多 了 ， 再 减少 阅 值 ， 不 断 进行 优化 。 


“ 使 用 命令 /脚本 、 工 具 进 行 分 析 ， 如 mysqldumpslow、pt-query-digest 等 。 


第 一 种 方法 比较 繁琐 ， 建 议 大 家 使 用 第 二 种 方法 。 如 果 优 化 效果 比较 理想 ， 希 望 更 进一步 调 优 ， 则 可 以 减低 阔 值 ， 然 后 记录 更 多 的 慢 查询 日 志 ， 然 后 继续 使 用 脚本 、 工 具 进 行 分 析 。 


1. 使 用 操作 系统 命令 分 析 


可 以 使 用 操作 系统 自 带 的 命令 进行 一 些 简单 的 统计 ， 如 grep、awk、wc， 但 不 容易 实现 更 高 级 的 筛选 排序 。 


下 面 来 看 个 示例 ， 通 过 如 下 命令 可 以 看 到 每 秒 的 慢 查 询 的 统计 ， 当 检查 到 有 突变 时 ， 往 往 会 有 异常 发 生 ， 这 时 便 可 以 更 进一步 到 具体 的 慢 查 询 日 志 里 去 查找 可 能 的 原因 。 


awk '/^# Time:/{print $3, $4, c;c=0}/^# User/{c++}' slowquery.1og > /tmp/aaa.log 


2.mysqldumpslow 


mysqldumpslow 命 令 是 官方 自 带 的 ， 此 命令 可 获得 日 志 中 的 查询 摘要 。 


以 下 是 mysqldumpslow 命 令 的 使 用 示例 。 


访问 时 间 最 长 的 10 个 sql 语 句 的 命令 如 下 。 


mysqldumpslow -tl10 /path/to/10g3304/slowquery.1log 


访问 次 数 最 多 的 10 个 sql 语 句 的 命令 如 下 。 


mysqldumpslow -s c -t10 /path/to/1og3304/slowquery.1og 


访问 记录 和 集 最 多 的 10 个 sql 语 句 的 命令 如 下 。 


mysqldumpslow -s r -t10 /path/to/10g3304/slowquery.1og 


3.pt-query-digest 


有 一 些 第 三 方 分 析 工 具 (如 msyqlsla、pt-query-digest) 比 mysqldumpslow 更 强大 ， 更 友好 。 以 下 将 重点 介绍 pt-query-digest 工 具 。 


pt-query-digest 可 以 生成 一 份 比 官方 mysqldumpslow 可 读 性 好 得 多 的 报告 。 安 装 也 很 简单 ， 命 令 如 下 。 


wget www.percona.com/get/pt-query-digest 
chmod utx pt-query-digest 


基本 语法 格式 如 下 所 示 。 


pt-query-digest [OPTIONS] [FILES] [DSN] 


详细 的 语法 介绍 ， 请 参考 16.2.2 节 ， 这 里 仅 给 出 一 些 常 用 的 示例 。 


直接 分 析 慢 查询 的 命令 如 下 。 


pt-query-digest /path/of/slow.log > slow.rtf 


分 析 半 个 小 时 内 的 慢 查 询 的 命令 如 下 。 


pt-query-digest --since 1800s /path/of/slow.log > slow.rtf 


分 析 一 段 时 间 范 围 内 的 慢 查 询 的 命令 如 下 。 


pt-query-digest --since '2014-04-14 22:00:00' --until '2014-04-14 23:00:00' /path/of/slow.log > slow.rtf 


显示 所 有 分 析 的 查询 命令 如 下 。 


pt-query-digest --limit 100% /path/of/slow.log > slow.rtf 


其 中 ，“--limit” 参 数 默认 是 “95%:20”， 表 示 显 示 95% 的 最 差 的 查询 ,或 者 20 个 最 差 的 查询 。 


此 外 ， 也 可 以 用 这 个 工具 来 分 析 二 进 志 日 志 ， 以 查看 我 们 日 常 的 修改 语句 是 如 何 分 布 的 ， 首 先 需要 把 二 进 志 日 志 转 换 为 文本 格式 。 


mysqlbinlog mysql-bin.012639 > /tmp/012639.1og 
pt-query-digest --type binlog /tmp/012639.1og 


对 于 以 上 分 析 命令 ， 同 样 可 以 加 上 参数 筛选 信息 ， 如 “--since”、“--until” 。 
那么 ， 如 何 查看 pt-query-digest 报 告 呢 ? 


以 下 是 一 个 输出 报告 ， 为 了 节省 篇 幅 ， 删 除了 部 分 信息 。 


# 140.9s user time, 1.4s system time, 57.93M rss, 154.03M vsz 
# Current date: Sun Feb 16 09:16:39 2011 


解释 : 执行 pt-query-digest 工 具 的 时 间 。 


# Hostname: db1000 
# Files: /usr/lcoal/mysql/data/slowquery.1log 
# Overall: 304.88k total, 159 unique, 0.22 QPS, 0.15x concurrency 


解释 : 慢 查 询 次 数 一 共 是 304.88k， 唯 一 的 查询 159 个 。 


# Time range: 2010-12-01 00:00:01 to 2010-12-17 09:05:17 


解释 : 这 里 记录 的 是 发 现 第 一 条 慢 查 询 的 时 间 到 最 后 一 条 慢 查 询 的 时 间 。 


# median 

# 一 

# Exec time 216112s 500ms 21s 709ms 1s 968ms 552ms 

# Lock time 414s 21us 101ms lms 626us 7ms 84us 
# Rows sent 169.69M 0 213.73k 583.60 97.36 10.75k 9.83 
# Rows examine 60.26G 0 866.23k 207.25k 328.6lk 70.68k 201.74k 

# Query size 120.31M 3 2 413.76 719.66 148.97 363.48 


解释 分 别 如 下 。 

“ Exec time: 执行 时 间 。 

“Lock time: 表 锁 的 时 间 。 

.Rows sent: 返回 的 结果 集 记录 数 。 
“ Rows examine: 实际 扫描 的 记录 数 。 


* Query size: 应 用 和 数据 库 交 互 的 查询 文本 大 小 。 


# Profile 

# Rank Query ID Response time 
# = = —= 
# 1 Ox5931CCE8168ECE59 92062.4390 42.6% 
# 2 0x0E8691F18411F3DC 23404.4270 10.8% 18602 1.2582 0.60 0.04 SELECT game info game stat game info 2 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OFBPSVText/... 


解释 分 别 如 下 。 

“ Rank: 所 有 查询 日 志 分 析 完毕 后 ， 此 查询 的 排序 。 

“ Query ID: 查询 的 标识 字符 囊 。 

“ Response time: 总 的 响应 时 间 ， 以 及 总 占 比 。 一 般 小 于 5% 可 以 不 用 关注 。 

“ Calls: 查询 被 调用 执行 的 次 数 。 

“ R/Call: 每 次 执行 的 平均 响应 时 间 。 

: Apdx: 应 用 程序 的 性 能 指数 得 分 。 (Apdex 响 应 的 时 间 越 长 ， 得 分 越 低 。) 

“V/M: 响应 时 间 的 方差 均值 比 〈 变 异 数 对 平均 数 比 ， 变 异 系数 ) 。 可 说 明 样 本 的 分 散 程度 ， 这 个 值 越 大 ， 往 往 是 越 值得 考虑 优化 的 对 象 。 
“ Item: 查询 的 简单 显示 ， 包 括 查 询 的 类 型 和 所 涉及 的 表 。 


以 下 将 按 默认 的 响应 时 间 进 行 排序 ， 并 列 出 TOP n 条 查询 。 并 且 pt-query-digest 输 出 了 EXPLAIN 的 语句 ， 以 方便 我 们 验证 查询 计划 。 


# Query 1: 0.12 QPS, 0.07x concurrency, ID 0x5931CCE8168ECE59 at byte 243208985 

# This item is included in the report because it matches --limit. 

# Scores: Apdex = 1.00 [1.0], V/M = 0.01 

# Query time sparkline: | | 

# Time range: 2010-12-01 00:00:01 to 2010-12-17 09:04:53 

# Attribute pot total min max avg 95% stddev median 
¥ ee 本 村 本 本 x 

# Count 55 ©168672 

# Exec time 42 92062s 500ms 11s 546ms 640ms 77ms 501ms 

# Lock time 68 283s 58us 101ms 2ms 690us 8ms 80us 
# Rows sent a 2.04M 10 100 12.67 9.83 14.86 9.83 
# Rows examine 54 33.12G 204.96k 208.16k 205.90k 201.74k 0.00 201.74k 

# Query size 50 60.64M 376 378 376.97 363.48 0 363.48 
# String: 

# Hosts 

# Users sd_game 

# Query time distribution 

# lus 

# 1l0us 

# 100us 

# lms 

# loms 

非 10Oms 提 则 大 提 提 提 社 提 振 提 持 振 社 提 振 提 持 振 社 折 扩 寺村 持 社 折 失 寺村 持 社 折 持 提 持 持 社 提 扩 提 持 振 社 折 失 寺村 持 社 提 扩 寺村 捍 社 提 失 寺村 提 社 提 


# ls # 


# 10s+ 章 

# Tables 

# SHOW TABLE STATUS LIKE 'game info'\G 
# SHOW CREATE TABLE 'game info™\G 

# SHOW TABLE STATUS LIKE "game stat'\G 
# SHOW CREATE TABLE 'game stat™\G 


# EXPLAIN /*!50100 PARTITIONS*/ 
select http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... 


以 上 关于 SELECT 查询 的 具体 文本 此 处 省 略 。 


从 pt-query-digest 工 具 中 看 到 的 信息 里 ， 对 于 响应 时 间 ， 不 仅 需要 关注 平均 值 ， 还 需要 关注 百分比 响应 ， 以 及 关注 其 的 分 布 情况 和 离散 程度 。 


对 于 响应 时 间 的 方差 均值 比 ， 如 果 该 均值 比 很 大 ， 则 可 能 意味 着 有 一 些 异常 值 。 


慢 查询 日 志 里 的 慢 查 询 不 一 定 就 是 BAD SQL。 可 能 是 受到 了 其 他 查询 的 影响 ， 或 者 是 受 系统 资源 限制 所 导致 的 。 


有 了 分 析 报告 ， 就 可 以 用 EXPLAIN 工 具 确 认 慢 查询 的 执行 计划 ， 从 而 进行 调 优 。 通 常 ，80% 的 问题 是 因为 索引 不 佳 而 引起 的 ， 添 加 适当 的 索引 即 可 。EXPLAIN 的 使 用 请 参考 3.5.4 节 ;SQL 的 调 优 请 参考 
第 6 章 。 


4.4 ”应 用 程序 性 能 管理 


4.4.1 为 什么 需要 性 能 


我 们 知道 ， 一 个 用 户 如 果 要 访问 网 站 ， 往 往 需要 经 过 许多 软 硬 件 设备 ， 现 在 的 大 型 应 用 程序 架构 越 来 越 复杂 ， 可 能 包含 多 层 架构 ， 拥 有 各 种 子 系统 ， 如 果 系统 突然 变 得 很 慢 ， 而 且 代码 不 能 告诉 你 哪里 
耗 时 最 长 ， 那 么 你 怎样 才能 找 出 系统 在 何 处 变 慢 的 呢 ? 所 以 需要 对 整个 项 目 进 行 性 能 管理 。 


性 能 管理 其 实 应 该 在 硬件 选 型 和 软件 编写 之 前 就 开始 ， 但 是 我 们 的 开发 工作 往往 并 没有 这 么 做 ， 往 往 是 等 到 出 现 性 能 问题 之 后 才 考虑 要 进行 性 能 管理 ， 这 是 不 合理 的 。 我 们 应 该 确定 性 能 目标 ， 并 在 产 
品 的 各 个 过 程 中 不 断 进行 验证 ， 及 时 发 现 软件 架构 和 编码 的 问题 。 如 果 等 到 项 目 已 经 基本 完成 的 情况 下 才 发 现 性 能 问题 ， 往 往 就 会 难以 调整 ， 因 为 之 前 确定 的 软件 架构 让 性 能 调 优 变 得 很 难 。 


影响 服务 性 能 的 主要 因素 ， 从 大 到 小 大 致 是 : 架构 和 设计 、 应 用 程序 、 硬 件 、Web 服 务 器 、 数 据 库 、 操 作 系统 。 数 据 库 、Web 服 务 器 、 主 机 一 般 由 SA、 系 统 工程 师 、DBA 管 理 ， 在 长 期 的 实践 中 ,已 
经 积累 了 很 多 成 熟 的 工具 ， 也 有 一 些 开 源 的 监控 软件 ， 但 在 应 用 程序 领域 ， 研 发 人 员 往 往 会 忘记 了 或 不 知道 如 何 去 监 控 自己 所 写 的 程序 的 性 能 。 或 者 即使 知道 有 一 些 性 能 收集 的 方式 ， 一 些 性 能 框架 ， 但 对 
于 生成 何 种 数据 ， 以 及 应 该 如 何 统计 和 展现 没有 足够 的 意识 。 


出 现 这 种 现象 的 原 是 ， 研 发 人 员 往 往 侧重 于 功能 实现 ， 而 忽视 了 应 用 程序 的 可 测量 性 ， 为 了 赶 进度 ， 在 一 般 的 项 目 中 ， 对 于 性 能 的 管理 ， 往 往 也 不 作为 要 求 。 这 就 导致 了 很 多 业务 ， 一 旦 上 线 碰 
到 大 流量 ， 就 会 暴露 出 性 能 问题 ， 但 由 于 没有 做 好 性 能 监控 ， 很 难 进 行 针对 性 的 调 优 。 其 实 ， 让 自己 写 得 程序 运行 得 更 快 、 更 有 效率 ， 往 往 不 是 依赖 于 自己 的 经 验 ， 而 是 依赖 于 有 一 个 好 的 性 能 分 析 工具 。 
通过 性 能 分 析 工具 ， 我 们 可 以 知道 自己 的 程序 主要 耗 时 在 哪里 ， 从 而 进行 专门 的 优化 ， 一 些 性 能 不 佳 的 操作 也 可 以 及 早 发 现 ， 而 不 会 带 到 生产 环境 中 去 。 


所 以 ， 建 议 在 每 个 新 项 目 中 加 入 性 能 剖析 代码 。 如 果 项 目 已 经 开发 完毕 ， 再 来 添加 性 能 日 志 代码 ， 将 会 非常 困难 ， 但 在 新 项 目 中 包含 性 能 记录 代码 则 是 很 容易 的 。 


以 下 将 详细 介绍 性 能 管理 的 一 些 知识 及 一 些 记录 性 能 日 志 的 例子 。 


4.4.2 ”应 用 性 能 管理 概述 


以 下 定义 来 自 维基 百科 。 


(1) 什么 是 应 用 性 能 管理 


在 信息 技术 和 系统 管理 等 领域 ， 应 用 性 能 管理 (APM) ， 是 软件 应 用 程序 性 能 和 可 用 性 的 监控 和 管理 。APM 致 力 于 检测 和 诊断 应 用 性 能 问题 ， 从 而 能 提供 预期 的 服务 水 平 。 


(2) 应 用 程序 性 能 指标 


有 两 组 性 能 指标 ， 第 一 组 定义 了 应 用 程序 终端 用 户 的 性 能 体验 ， 一 个 很 好 的 例子 是 高 峰 时 刻 的 平均 响应 时 间 。 请 注意 这 里 有 两 个 组 成 部 分 ， 负 载 和 响应 时 间 。 负 载 是 应 用 程序 处 理 的 业务 量 ， 如 每 秒 事 
务 数 、 每 秒 请 求 数 、 每 秒 PV。 响 应 时 间 是 指 在 给 定 的 负载 下 ， 应 用 程序 响应 用 户 操作 的 时 间 。 如 果 没有 一 定 的 负载 ， 绝 大 部 分 应 用 程序 都 运行 得 足够 快 ， 这 就 是 为 什么 程序 员 不 太 可 能 在 开发 过 程 中 捕捉 到 
性 能 问题 的 原因 。 


第 二 组 性 能 指标 衡量 了 在 一 定 负载 下 应 用 程序 使 用 的 计算 资源 是 否 有 足够 的 容量 来 支持 给 定 的 负载 ， 在 哪里 可 能 会 有 性 能 瓶颈 。 这 些 指标 的 测量 为 应 用 建立 了 一 个 基于 历史 经 验 的 性 能 基线 。 然 后 基线 
可 以 用 来 检测 性 能 的 变化 。 性 能 的 变化 可 以 与 外 部 事件 相关 联 ， 并 用 于 预测 应 用 程序 性 能 的 未 来 变化 。 


使 用 APM 最 常见 的 领域 是 Web 应 用 。 除 了 测 


户 的 响应 时 间 ， 应 用 程序 组 件 的 响应 时 间 也 可 以 被 监控 ， 以 协助 我 们 查 明 延 迟 的 具体 原因 。 


(3) 当前 难点 


APM 已 经 演变 成 跨越 许多 不 同 的 计算 平台 上 的 管理 应 用 程序 性 能 的 一 个 概念 。 它 的 实现 有 如 下 两 个 挑战 。 


1) 很 难 通过 仪表 化 的 应 用 程序 来 监视 应 用 程序 性 能 ， 尤 其 是 应 用 程序 的 内 部 组 件 。 


2) 应 用 程序 可 以 被 虚拟 化 ， 这 就 增加 了 测量 的 变化 性 。 分 布 式 、 虚 拟 和 基于 云 的 应 用 程序 给 应 用 性 能 的 监控 带 来 了 一 个 独特 的 挑战 ， 因 为 大 部 分 关键 的 系统 组 件 都 不 再 位 于 同一 台 主 机 上 。 每 个 功能 现 
在 都 可 能 被 设计 成 运行 于 多 个 虚拟 系统 上 的 一 个 因特网 服务 ， 应 用 程序 本 身 也 很 可 能 会 从 一 个 系统 迁移 到 另 一 个 系统 上 ， 以 实现 服务 水 平 目标 或 应 对 临时 停电 。 


4.4.3 ”应 用 性 能 管理 的 关注 点 


应 用 程序 本 身 正 变 得 越 来 越 难以 管理 ， 因 为 它们 正在 走向 高 度 分 散 、 多 层次 、 多 元 素 的 构造 ， 在 很 多 情况 下 它们 依赖 于 应 用 程序 开发 框架 ， 如 .NET 或 Java。 


对 于 Web 性 能 管理 ， 我 们 重点 要 关注 的 是 终端 用 户 体验 监控 (主动 和 被 动 ) 、 用 户 自 定义 事务 处 理 剖析 、 报 告 和 应 用 数据 分 析 。 


(1) 终端 用 户 体验 监控 (主动 和 被 动 ) 


测量 用 户 的 请 求 数据 然后 将 响应 返回 给 用 户 是 捕获 终端 用 户 体验 的 一 部 分 。 这 种 测量 的 结果 被 称 为 实时 应 用 监控 (又 名 自 上 而 下 的 监控 ) ， 其 中 有 两 个 组 成 部 分 ， 被 动 和 主动 。 


被 动 监控 通常 是 无 代理 的 ， 比 如 使 用 网 络 端口 镜像 实现 监控 。 这 个 解决 方案 需要 考虑 的 一 个 关键 功能 是 支持 多 协议 的 分 析 (如 XML、SQL、PHP) ， 因 为 大 多 数 企业 已 经 不 仅仅 只 支持 基于 Web 的 应 上 
程序 。 


主动 监控 ， 包 含 预定 义 的 人 工 探 针 和 网 络 机 器 人 ， 用 于 报告 系统 的 可 用 性 和 业务 交易 。 主 动 监控 是 被 动 监 控 的 一 个 很 好 的 补充 。 两 种 手段 配合 使 用 ， 可 以 提供 可 视 化 的 应 用 健康 状况 。 


(2) 用 户 自 定义 事务 处 理 剖 析 


专注 于 用 户 自 定义 的 事务 或 对 于 商业 团体 具有 某 种 意义 的 URL 页 面 定义 。 例 如 ， 对 于 一 个 给 定 应 用 程序 ， 如 果 有 200~300 个 唯一 页 面 ， 可 以 把 它们 分 组 为 8~ 12 个 更 高 层 ; 
义 的 服务 等 级 协议 (SLA) 报告 ， 从 业务 的 角度 提供 应 用 性 能 的 趋势 信息 : 先 从 大 类 开始 ， 逐 渐 完 善 它 。 


加 
污 


的 类 别 。 这 样 就 可 以 实现 有 意 


(3) 报告 和 应 用 数据 分 析 


对 于 所 有 的 应 用 程序 ， 提 供 一 套 共同 的 指标 来 收集 和 报告 信息 是 很 重要 的 ， 然 后 就 可 以 标准 化 呈现 应 用 程序 的 性 能 数据 的 视图 。 来 自 其 他 工具 集 收集 的 原始 数据 可 提高 报告 的 灵活 性 。 这 样 就 可 以 
各 种 各 样 的 性 能 问题 ， 尽 管 每 个 应 用 程序 可 能 运行 在 不 同 的 平台 上 。 


回 
史 


注意 过 多 的 信息 是 难以 查看 的 ， 这 就 是 为 什么 报告 保持 简单 是 很 重要 的 原因 ， 否 则 它 将 不 被 使 用 。 


4.4.4 ”具体 应 用 


生产 环境 中 常见 的 方式 是 记录 应 用 程序 的 日 志 。 在 应 用 程序 中 记录 性 能 日 志 将 会 更 全 面 ， 这 可 以 让 你 跟踪 用 户 从 访问 应 用 服务 到 回 传 的 各 个 环节 。 而 数据 库 的 性 能 记录 往往 只 反应 了 后 端 数据 库 的 性 能 
记录 。DBA 常 用 的 诊断 工具 慢 查 询 日 志 很 粗糙 ， 只 记录 了 超过 立 值 的 慢 查 询 。 


通过 对 日 志 的 分 析 ， 可 以 方便 用 户 了 解 应 用 的 运行 情况 ， 有 助 于 进行 容量 规划 ， 分 配 资源 ， 还 可 以 分 析 得 到 该 应 用 的 健康 状况 ， 及 时 发 现 问题 并 快速 定位 和 解决 问题 ; 也 可 以 分 析 用 户 的 操作 行为 、 喜 
好 、 地 域 分 布 、 浏 览 器 类 型 、 操 作 系 统 或 其 他 更 多 信息 。 我 们 应 该 尽 可 能 地 记录 更 多 的 信息 ， 也 就 是 说， 只 要 愿意 ， 就 有 能 力 生成 大 量 的 跟踪 信息 。 在 这 里 ， 我 们 仅 关注 下 记录 性 能 方面 的 日 志 。 


不 管 是 使 用 框架 提供 的 一 些 功能 ， 还 是 自己 编写 记录 日 志 的 代码 ， 都 要 注意 如 下 这 些 要 点 。 


“ 要 使 用 方便 ， 配 置 简 单 。 


“ 要 可 读 性 好 ， 方 便 处 理 ， 最 好 是 可 以 图 形 化 展示 ， 并 且 趋向 实时 。 


“不仅 要 监测 整体 响应 ， 还 要 监测 每 个 环节 ， 特 别 是 关键 部 分 的 响应 时 间 。 


比如 对 于 一 个 普通 的 PHP 页 面 ， 我 们 可 以 记录 整体 的 响应 时 间 ， 页 面 每 个 部 分 的 处 理 时 间 ， 也 可 以 记录 访问 缓存 、 访 问 数据 库 的 响应 时 间 ， 如 果 有 重要 的 业务 罗 辑 ， 也 要 一 并 记录 ， 通 过 这 些 翔 实 的 记 
录 ， 一 旦 碰 到 各 种 性 能 问题 ， 我 们 就 可 以 很 方便 地 定位 到 出 现 异 常 的 地 方 。 由 于 日 志 的 刷新 往往 很 快 ， 因 此 我 们 要 尽量 保持 日 志 紧凑 ， 可 以 记录 到 本 地 ， 也 可 以 通过 网 络 的 方式 发 送 日 志 到 日 志 服务 器 。 


除了 记录 日 志 ， 日 志 的 解读 也 很 重要 ， 如 果 可 能 ， 最 好 能 够 图 形 化 地 展示 性 能 、 知 吐 的 变化 ， 这 样 ， 我 们 就 可 以 很 直观 地 通过 曲线 的 变化 知道 应 用 的 性 能 是 否 可 能 有 问题 了 。 一 旦 出 现 性 能 问题 ， 也 可 
以 很 直观 地 从 图 形 中 得 到 需要 优化 的 点 。 


el 


一 般 记 录 性 能 日 志 不 会 有 什么 开销 ， 由 于 日 志 是 顺序 写 入 的 ， 对 MO 的 影响 也 很 小 。 如 果真 的 记录 起 来 成 本 很 昂贵 ， 那 么 也 可 以 选择 某 一 台 应 用 服务 器 打开 性 能 记录 ， 或 者 仅 记 录 一 段 时 间 ， 用 来 诊断 性 
能 问题 。 


也 可 以 随机 抽样 ， 选 择 记录 部 分 比例 的 访问 的 性 能 记录 。 


例如 : 


<?php 
$profiling enabled = rand(0, 100) > 99; 
x 


以 上 代码 采样 为 1%。 


这 里 要 介绍 一 个 国外 的 性 能 管理 服务 工具 ，New Relic 公 司 的 性 能 工具 ， 虽 然 国内 到 


图 


外 的 网 络 质量 不 佳 ， 不 便 直 接 使 用 New Relic 的 服务 ， 但 它 的 思想 很 值得 借鉴 。 


New Relic 是 一 种 提供 给 公司 的 SaaS (software-as-a-service) 解决 方案 ， 可 以 提供 性 能 监视 和 分 析 服务 。 能 够 对 部 署 在 本 地 或 在 云 中 的 Web 应 用 程序 进行 监控 、 故 障 修复 、 诊 断 、 线 程 分 析 及 容量 计 
它 可 以 监测 从 浏览 器 到 应 用 程序 到 数据 库 各 个 环节 的 性 能 记录 。 它 还 可 以 从 多 个 角度 、 实 时 监测 移动 设备 App 的 性 能 ， 及 时 发 现 App 的 错误 。 


入 


上 


这 样 的 一 个 应 用 性 能 管理 工具 ， 能 极 大 地 解决 各 种 性 能 问题 。 有 兴趣 的 同学 可 以 试用 下 ， 默 认 的 仪表 板 会 显示 终端 用 户 和 应 用 服务 器 的 一 些 指标 。 


它 的 基本 原理 是 将 工具 嵌入 到 你 的 应 用 程序 里 ,剖析 它 ， 并 发 送 数 据 到 New Relic 的 服务 器 ， 通 过 基于 Web 的 界面 ， 让 你 看 到 应 用 程序 响应 时 间 的 性 能 记录 。 


这 种 SaaS 服 务 ， 使 得 在 生产 环境 上 时 刻 记录 性 能 成 为 可 能 。 而 传统 的 一 些 性 能 工具 ， 可 能 因为 消耗 的 资源 巨大 ， 而 不 能 轻易 地 在 生产 环境 中 打开 并 使 用 。 


PHP 也 有 一 些 优秀 的 工具 ， 可 以 用 来 剖析 的 你 程序 。 如 Facebook 开 源 出 来 的 xhprof (链接 地 址 : http://pecl.php.net/package/xhprof) 。 


《high performance MySQL》 作 者 开发 的 一 个 工具 IfP (链接 地 址 : https://code.google.com/p/instrumentation-for-php/) 。 


xhprof 对 PHP 有 完善 的 监控 ，IfP 相 对 于 xhprof 来 说 ， 对 数据 库 有 更 详细 的 测量 ， 它 可 以 自动 记录 整个 页 面 、 数 据 库 和 Cache 的 响应 。 


4.5 数据库 设计 


广义 的 数据 库 设 计 包括 项 目的 目标 、 数 据 的 架构 设计 、 数 据 库 产品 的 选择 、 需 求 收集 、 数 据 库 逻辑 /物理 设计 、 后 期 维护 等 多 个 过 程 。 本 书 仅 阐 述 数据 库 设计 中 DBA 关 注 的 两 个 阶段 : 逻辑 数据 库 设 计 阶 
段 和 物理 数据 库 设 计 阶段 。 以 下 将 介绍 设计 数据 库 的 一 般 步 又， 我 们 设计 的 时 候 不 一 定 要 严格 遵循 这 些 步骤 ， 它 们 比较 繁琐 ， 但 这 些 步骤 阐明 了 设计 数据 库 的 一 般 思 路 ， 它 的 方法 学 值得 大 家 借鉴 ， 尤 其 是 
设计 很 复杂 的 数据 库 应 用 的 时 候 。 


4.5.1 ”逻辑 设计 


逻辑 数据 库 设 计 指 构建 企业 所 使 用 的 数据 模型 的 过 程 。 它 标识 了 数据 库 中 要 描述 的 重要 对 象 以 及 这 些 对 象 之 间 的 关系 。 


逻辑 数据 库 设 计 独立 于 特定 的 DBMS 和 其 他 的 物理 考虑 事项 。 


数据 库 设计 人 员 将 根据 需求 文档 ， 创 建 与 数据 库 相 关 的 那 部 分 实体 关系 图 (ERD) /类 图 。 这 些 图 形 和 需求 文档 相 结合 ， 将 有 助 于 相关 人 员 更 好 地 理解 业务 逻辑 和 实际 的 表 设计 。 互 联网 的 一 些 应 用 往往 


比较 简单 ， 所 以 经 验 丰 富 的 研发 人 员 直接 设计 数据 表 也 是 很 常见 的 情况 ， 但 是 对 于 复杂 的 项 目 ， 仍 然 推荐 绘制 E-R 图 ， 如 果 我 们 有 对 逻辑 设计 的 详细 描述 会 更 有 利于 以 后 程序 的 开发 和 维护 ， 也 方便 DBA 与 
研发 设计 人 员 更 好 地 沟通 。 


逻辑 数据 库 的 设计 大 体 可 以 分 为 以 下 这 些 步 又 。 


1) 创建 并 检查 ER 模型 。 


此 步骤 主要 是 标识 实体 及 实体 之 间 的 关系 。 标 识 实体 的 一 种 方法 就 是 研究 用 户 需求 说 明 里 的 名 词 或 名 词 短语 。 例 如 员工 管理 系统 里 的 员工 、 部 门 。 在 线 考 试 系统 里 的 课程 、 试 卷 、 学 员 。 从 用 户 提供 的 
需求 说 明 中 得 到 的 一 组 实体 可 能 不 是 唯一 的 。 然 而 ， 分 析 过 程 的 不 断 和 迭代 必定 会 引导 你 选择 对 完成 系统 需求 来 说 足够 用 的 实体 。 


标识 关系 也 可 以 通过 研究 需求 说 明 书 来 实现 ， 需 求 说 明 书 里 的 动词 或 动词 短语 往往 表征 了 某 种 关系 。 大 多 数 情况 下 ， 关 系 都 是 二 元 的 ， 例 如 ， 员 工 实体 属于 某 个 公司 ， 试 卷 实体 属于 某 个 课程 ， 学 员 
(实体 ) 解答 某 张 试卷 (实体 ) 。 


接 下 来 就 可 以 标识 实体 和 关系 中 的 属性 、 主 键 等 信息 。 比 如 学 员 实 体 包括 的 属性 可 能 有 学 员 号 、 姓 名 、 性 别 、 生 日 等 信息 。 


在 确定 好 实体 后 ， 我 们 再 检查 实体 模型 是 否 能 够 满足 的 我 们 的 需求 。 


[ 


4-2 是 实体 关系 图 的 一 个 例子 。 


_] employees v _] dept manager W 
emp ho INT(11) dept no CHAR(4) 
birth date DATE emp no INT(11) 
first name VARCHAR(14) from date DATE 


last name VARCHAR(16) to_date DATE 


gender ENUM('M', 'F') Indexes p 
hire date DATE 
Indexes > 
_ | salaries 了 
emp_no INT(11) 
i 四 litles v 
salary INT(11) 
from date DATE emp_no INT(11) 
to date DATE title VARCHAR(50) 
dept emp Ts 家 i 光 机 DATE 
emp no INT(11) ER DATE 
dept no CHAR(4) Indexes 四 
from date DATE 
)to_date DATE 四 
二 departments v 
Indexes > 


dept_ no CHAR(4) 
>dept name VARCHAR(40) 
Indexes p> 


图 4-2 ”实体 关系 图 示例 


3.3.7 节 对 这 个 实体 关系 图 有 一 些 说 明 。 


2) 将 ER 模型 映射 为 表 。 


这 个 步骤 的 主要 目的 是 为 步骤 1 建立 的 ER 模型 产生 表 的 描述 。 这 组 表 应 该 代表 逻辑 数据 模型 中 的 实体 、 关 系 、 属 性 和 约束 。 产 生 表 的 描述 后 ， 需 要 检查 表 是 否 满足 用 户 的 需求 和 业务 规则 。 


4.5.2 ”物理 设计 


物理 数据 库 设 计 用 于 确定 逻辑 设计 如 何在 目标 关系 数据 库 中 物理 地 实现 。 它 描述 了 基本 表 、 文 件 组 织 、 用 户 高 效 访问 数据 的 索引 、 相 关 的 完整 性 约束 及 安全 性 限制 。 


这 个 阶段 允许 设计 者 决定 如 何 实现 数据 库 ， 因 此 ， 物 理 设计 和 特定 的 DBMS 有 关 。 
这 部 分 的 任务 主要 是 设计 表 结 构 。 逻 辑 设计 中 的 实体 大 部 分 可 以 转换 成 物理 设计 中 的 表 ， 但 是 它们 并 不 一 定 是 一 一 对 应 的 。 


物理 设计 又 可 以 分 为 如 下 几 步 。 


把 逻辑 设计 转换 为 物理 表 、 分 析 事 务 、 选 择 文件 组 织 方式 、 选 择 索引 (基于 最 重要 的 事务 ) ， 以 及 适当 地 进行 反 范式 设计 (这 么 做 是 为 了 拥有 更 好 的 性 能 ) 、 列 出 最 终 表 的 详细 说 明 。 


1. 将 逻辑 设计 转换 为 物理 表 


将 逻辑 设计 转换 为 物理 表 即 用 特定 的 数据 库 语言 来 实现 逻辑 设计 过 程 中 产生 的 表 的 描述 ， 可 以 输出 的 信息 有 表 汇 总 ， 如 表 4-12 所 示 的 就 是 表 汇总 的 模板 。 


表 4-12 ” 表 汇 总 模板 


2. 分 析 事 务 


分 析 事 务 指 的 是 分 析 数 据 库 需要 满足 的 用 户 需求 ， 只 有 了 解 了 必须 要 支持 的 事务 的 细节 ， 才 能 做 出 有 意义 的 物理 设计 抉择 。 分 析 预 期 的 所 有 事务 是 极为 耗 时 的 ， 只 需 研 究 最 重要 的 那 部 分 事务 即 可 。 最 
活跃 的 20% 的 事务 往往 占据 了 总 的 数据 访问 量 的 80%。 当 进行 分 析 时 ， 你 会 发 现 这 个 80/20 规 则 是 很 有 用 的 方针 。 


最 重要 的 事务 一 般 是 指 如 下 两 种 事务 。 


“ 经 常 运行 的 事务 和 对 性 能 产生 重大 影响 的 事务 。 


“ 业务 操作 的 关键 事务 。 


需要 关注 的 一 些 细节 如 下 。 


“ 事务 运行 的 频率 ? 频率 信息 将 标识 需要 仔细 考虑 的 表 。 


:事务 的 高 峰 时 间 ? 


“ 访问 记录 数 比 较 多 的 事务 。 


不 用 写 出 全 部 的 SQL 语句 ， 但 至 少 应 该 标识 出 与 SQL 语句 相连 的 细节 类 型 ， 也 就 是 如 下 这 些 信息 。 


: 将 要 使 用 的 所 有 查询 条 件 。 


“ 连接 表 所 需要 的 列 (对 查询 事务 来 说 ) 。 


“ 用 于 排序 的 列 (对 查询 事务 来 说 ) 。 


“ 用 于 分 组 的 列 ( 对 查询 事务 来 说 ) 。 


“ 可 能 使 用 的 内 置 函数 (例如 AVG，SUM) 。 


“ 被 该 事务 更 新 的 列 。 


我 们 将 利用 这 些 信息 来 确定 所 需要 的 索引 。 


3. 选 择 文件 组 织 方式 


选择 文件 组 织 方式 是 指 选 择 表 数 据 的 存放 方式 。 
物理 设计 数据 库 的 目标 之 一 就 是 以 有 效 的 方式 存储 数据 。 如 果 目 标 DBMS 人 允许 ， 则 可 以 为 每 个 表 选 择 一 个 最 佳 的 文件 组 织 方 式 。 一 般 有 如 下 两 种 方法 。 


1) 保持 记录 的 无 序 性 并 且 创 建 所 需 数目 的 二 级 索引 。 


2) 通过 指定 主键 或 聚 篮 索 引 使 表 中 记录 为 有 序 的 。 这 种 情况 下 ， 应 该 选择 如 下 的 列 来 排序 或 聚 篮 索 引 记录 。 


“ 经 常用 于 连接 操作 的 列 ， 因 为 这 样 会 使 连接 更 有 效率 。 


“ 在 表 中 经 常 按 某 列 的 顺序 访问 记录 的 列 。 


我 们 一 般 使 用 nnoDB (InnoDB 主 键 即 聚 簇 索 引 ) ， 基 于 主键 的 唯一 查找 和 小 范围 查找 是 最 高 效 的 。 例 如 ， 如 果 有 很 频繁 的 基于 USERID 的 查找 ,或 者 对 USERID 的 小 范围 遍历 ， 那么 USERID 作 为 主键 


就 是 最 高 效 的 方式 。 因 为 数据 是 以 USERID 为 顺序 进行 存储 的 。 而 如 果 以 自 增 |D 为 主键 ,实际 的 执行 过 程 是 需要 先 按 索 引 列 USERID 找 到 索引 记录 ， 然 后 利 


存储 在 索引 中 的 主键 值 去 查找 主键 ， 最 终 定位 到 


记录 ， 这 样 代价 会 更 高 。 如 果 是 范围 查找 ， 那 么 虽然 索引 是 有 序 的 ， 但 最 终 会 按照 主键 值 去 检索 数据 ， 由 于 主键 值 并 不 是 连续 的 ， 这 将 产生 很 多 物理 随机 读 。 


以 上 例子 仅 用 于 说 明 问 题 ， 实 际 应 用 中 ， 对 于 小 范围 的 索引 查找 ， 性 能 一 般 不 会 成 为 问题 。 自 增 主键 在 一 般 情 况 下 也 会 工作 得 很 好 。 


4 选择 索引 


设计 索引 需要 平衡 性 能 的 提升 和 维护 的 成 本 。 


创建 你 认为 是 索引 的 候选 列 的 “意愿 表 ” ， 然 后 逐个 考虑 维护 这 样 的 索引 的 影响 。 以 下 是 创建 索引 的 一 些 基本 指导 原则 。 


1) 不 必 为 小 表 创 建 索引 。 在 内 存 中 查询 该 表 会 比 存储 额外 的 索引 结构 更 加 有 效 。 


2) 为 检索 数据 时 大 量 使 用 的 列 增加 二 级 索引 。 


3) 为 经 常 有 如 下 情况 的 列 添加 二 级 索引 。 
“ 查询 或 连接 条 件 
“ ORDER BY 
: GROUP BY 


“ 其 他 操作 (如 UNION 或 DISTINCT) 


4) 考虑 是 否 可 以 用 覆盖 索引 (covering index) 。 


5) 如 果 查 询 将 检索 表 中 的 大 部 分 记录 (例如 25%) ， 即 使 表 很 大 ， 也 不 创建 索引 。 这 时 候 ， 查 询 整 表 可 能 比 


6) 避免 为 由 长 字符 串 组 成 的 列 创建 索引 。 


5. 反 范式 设计 


索引 查询 更 有 效 。 


eA 建议 先进 行规 范 化 的 设计 ， 这 样 将 有 助 于 了 解 系统 ， 但 MySQL 对 于 多 表 连 接 的 支持 比较 差 ， 也 就 是 优化 器 比较 简单 ， 往 往 为 了 性 能 ， 我 们 需要 考虑 一 些 反 规范 化 的 设计 。 


“ 合并 表 。 


“ 宛 余 列 减 少 连接 。 


. 引入 重复 组 ， 例 如 ， 某 公司 有 5 个 电话 号 码 ， 我 们 不 必 使 用 额外 的 电话 表 ， 而 是 增加 5 个 列 tetlNO1、telNO2、telNO3、telNO4、telNO5 (此 种 情况 一 般 用 于 重复 组 的 项 的 数量 不 多 且 不 易 变化 ) 。 


. 创建 统计 表 。 

: 水平/ 重 直 分 区 。 

@@ 涪 反 范式 增 加 了 维护 数据 一 致 性 的 成 本 ， 因 此 需要 谨慎 实施 。 
6. 列 出 最 终 表 的 详细 说 明 


只 需要 列 出 重要 的 表 即 可 。 


以 下 索引 是 否 建立 、 数 据 量 及 数据 增长 的 情况 要 根据 具体 的 业务 需求 来 确定 。 


“ 记录 数 : 记录 数 ， 可 补充 说 明 未 来 半年 、1 年 或 2 年 的 记录 数 。 


“ 增长 量 : 单位 时 间 的 数据 增长 量 。 如 果 量 大 可 以 按 每 天 ; 如 果 量 不 大 则 可 以 按 每 月 。 


“ 表 字 段 的 区 别 度 : 主要 是 考虑 到 将 来 在 此 字段 上 建立 家 引 类 型 选择 时 作 参 考 ， 当 字段 值 唯一 时 可 以 不 考虑 ; 当 字段 值 不 唯一 时 ， 估 算 一 个 区 别 度 ， 近 似 即 可 。 例 如 : 如 果 一 个 表 的 NAME 字 段 共有 


2000 个 值 ， 其 中 有 1999 个 不 同 的 值 ， 那 么 1999/2000=0.99 越 接近 1 区 别 度 则 越 高 ， 反 之 区 别 度 就 越 低 。 
“ 表 的 并 发 : 根据 具体 的 业务 需求 预测 表 的 并 发 访问 ， 或 者 说 明 高 峰 期 的 并 发 程度 。 


最 终 表 的 模板 如 表 4-13 所 示 。 


表 4-13 ”最终 表 模板 


表 名 
主键 
排序 字段 
索引 字段 
字段 名 称 说 明 
[字段 名 称 ] [数据 类 型 ] [高 /中 / 低 ]| | 
CREATE TABLE [XXX 表 名 ] 
( 
[字段 名 称 ] [数据 类 型 ] [NOT NULL /NULL] 
, [字段 名 称 ] [数据 类 型 ] [NOT NULL /NULU] 
MySQL 脚本 , [字段 名 称 ] [数据 类 型 ] [NOT NULL /NULL] 
, [字段 名 称 ] [数据 类 型 ] [NOT NULL /NULLU] 
,PRIMARY KEY ([ 字段 名 称 ]) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 
CREATE INDEX [ 索引 名 ] ON [XXX 表 名 ] ([ 字段 名 称 ]) 


一 


增长 量 [ 此 表 的 增长 量 ] 
表 的 并 发 [ 此 表 的 并 发 程度 ] 
补充 说 明 [ 补充 说 明 ] 


实际 设计 中 ， 如 果 表 很 多 ， 只 需要 列 出 最 重要 、 最 关键 的 表 设 计 即 可 。 


4.6 导入 导出 数据 


研发 人 员 往 往 需要 从 数据 库 中 导出 数据 ， 或 者 将 数据 导入 到 数据 库 中 。 一 些 客户 端 工具 提供 了 简单 方便 的 功能 ， 让 研发 人 员 可 以 不 用 去 熟悉 命令 行 工 具 mysql、mysqldump 即 可 进行 操作 ， 但 客户 端 工 
具 对 于 数据 的 导出 导入 可 能 存在 兼容 性 的 问题 ， 而 原生 的 命令 行 工具 往往 具有 更 好 的 兼容 性 。 客 户 端 工具 也 可 能 会 受到 环境 的 限制 而 不 能 使 用 ， 所 以 ， 研 发 人 员 有 必要 掌握 一 些 常用 的 命令 行 操作 数据 的 方 
式 。 我 们 在 日 常 升级 操作 中 ， 往 往 也 需要 提供 一 些 命令 让 DBA 运 行 ， 从 而 把 数据 导出 来 给 研发 、 测 试 人 员 做 二 次 处 理 。 熟 悉 导 出 导入 数据 的 命令 也 有 助 于 研发 、 测 试 人 员 自 己方 便 地 获取 数据 而 不 需要 通过 
DBA。 一 些 统计 分 析 脚 本 也 依赖 于 调用 mysql 命 令 行 工具 实现 数据 的 操作 。 


MySQL 提 供 了 好 几 种 导出 导入 数据 的 方法 : LOAD DATA、mysqlimport、SELECT...INTO OUTFILE、mysqldump、mysql。 其 中 ，mysqldump 和 mysqlimport 是 相反 的 操作 ，SELECT...INTO 
OUTFILE 和 LOAD DATA INFILE 是 相反 的 操作 。 


注意 “在 使 用 LOAD DATA 或 SELECT.…INTO OUTEILE 命 令 的 时 候 ， 要 留意 操作 系统 文件 的 权限 。 你 需要 确保 MySQL 实 例 进程 的 拥有 者 对 操作 系统 文件 拥有 权限 。 
4.6.1 规则 简介 


1. 文 本 文件 里 的 特殊 字符 处 理 


LOAD DATA 和 SELECT...INTO OUTFILE、mysqlimport 和 mysqldump 有 一 组 专门 的 用 来 处 理 文本 文件 中 特殊 字符 的 选项 ， 具 体 如 下 所 示 。 


“ FIELDS TERMINATED BY'fieldtermstring : 各 列 (字段 ) 之 间 用 什么 字符 分 隔 ， 默 认 是 tab， 一 般 设 置 为 过 号 “,，”。 


. [OPTIONALLYJENCLOSED BY'char': 值 被 什么 字符 引起 来 ， 一 般 设 置 为 引号 "， 如 果 指定 了 OPTIONALLY， 则 ENCLOSED BY'char 只 对 字符 串 数 据 类 型 (比如 CHAR、BINARY、TEXT 或 ENUM) 
生效 。 


ESCAPED BY'escchat: 定义 转 义 字符 ， 默 认 是 “\”。 


: LINES TERMINATED BYinetermstting: 定义 行 结束 符 ， 用 于 分 隔行 。 


在 Windows 下 需要 使 用 “^r\n” 提 供 一 次 换行 ， 而 在 Linux 下 只 需要 “\n” 就 可 以 了 。 


2. 文 本 文件 的 数据 格式 


所 有 命令 都 要 求 有 关 的 文本 文件 必须 严格 遵守 一 种 数据 格式 ， 具 体 如 下 所 示 。 
“ 数值 : 可 以 用 科学 计数 法 。 


' 字符 串 : 字符 串 里 的 特殊 字符 必须 加 上 反 斜 线 字符 作为 识别 标志 ， 以 区 别 于 各 种 分 隔 符 。 日 期 按照 2005-12-21 格 式 的 字符 串 来 对 待 ， 时 间 值 按照 23:59:59 格 式 的 字符 串 来 对 待 ， 时 间 蕉 按照 
20051231235959 格 式 的 整数 来 对 待 。 


NULL 值 : 假设 人 \” 作 为 转 义 前 导 字符 ，“'” 作为 字符 串 的 前 后 缀 标记 ， 那 么 在 导出 操作 中 ，NULL 值 将 被 表示 为 \N; 在 没有 指定 转 义 前 导 字 符 的 导出 操作 中 ，NULL 值 将 被 表示 为 由 4 个 字符 构成 的 字 
符 串 。 在 指定 了 转移 前 导 字 符 的 操作 中 ，MySQL 将 把 NULL、MN、A\NN 都 解释 为 NULL 值 ， 但 'NULL 将 被 解释 为 一 个 字符 串 'NULL 。 


过 


4.6.2 ”使 用 mysqldump 导 出 ,使 用 mysql 导 入 


工具 mysql 执 行 这 个 文件 ， 导 入 数据 ， 示 例如 下 。 


1) 导出 指定 的 表 。 


虽然 mysqldump 速 度 较 慢 ， 但 这 种 方式 有 最 好 的 兼容 性 ， 这 也 是 目前 使 用 最 为 广泛 的 备份 数据 的 方式 。 使 


mysqldump 导 出 的 一 般 是 SQL 文件 ， 也 称 为 转 储 文件 或 dump 文 件 ， 我 们 可 以 使 


mysqldump test --tables test1l test4 > test1_ test4.sqgl 


2) 分 别 导出 sq 文件 和 数据 文件 〈 数 和 


mysqldump --tab=/home/garychen/tmp test 


居 值 以 tab 分 隔 ) 。 


3) 分 离 导出 sq| 文 件 和 数据 文件 (定制 数 所 


怖 格式， 数据 值 以 逗号 分 隔 ) 


mysqldump --tab=/home/garychen/tmp --fields-terminated-by=',' --fields-enclosed-by=''' test 


4) 导出 某 个 库 。 


mysqldump --complete-insert --force --add-drop-database --insert-ignore --hex-blob --databases test > test db.sql 


代码 说 明 如 下 。 


--Complete-insert: 导出 的 dump 文 件 里 ， 每 条 INSERT 语 句 都 包括 了 列 名 。 


--force: 即使 出 现 错误 (如 VIEW 引用 的 表 已 经 不 存在 了 ) ， 也 要 继续 执行 导出 操作 (mysqldump 会 打印 


错误 ， 注 释 完 VIEW 定义 后 继续 后 续 的 数据 导出 ) 。 


--insert-ignore: 生成 的 INSERT 语 句 是 INSERT IGNORE 的 形式 ， 如 果 导 入 此 文件 ， 即 使 出 错 了 也 仍然 可 以 继续 导入 数据 ( 当 作 警 告 ) 。 


例如 ， 使 用 mysql 执 行 SQL 文 件 ， 插 入 与 主键 冲突 的 值 ， 如 果 是 INSERT， 那 么 mysqI 会 异常 退出 ， 并 提示 如 下 错误 。 


ERROR 1062 (23000) at line 28: Duplicate entry '1' for key 1 


如 果 是 INSERT IGNORE， 那 么 mysqI 会 忽略 错误 ， 继 续 插入 后 面 的 值 。 


例如 下 面 这 些 语句 。 
INSERT IGNORE INTO 't1' VALUES (1°),('10), ("11), (2),('3), (4),('5), (6), (7'), (2 8) ('9"); 
INSERT IGNORE INTO 't1' VALUES (111°), ('20'), (21°'),('22°'), (23), (4), ('5), ('6),('7°'), ('88'), ('99°'); 


两 条 INSERT 语 句 ， 即 使 有 时 


复 键 值 ， 也 仍然 会 插入 后 面 的 值 ， 因 此 88、99 仍 然 可 以 正常 插入 。 


--databases: 类 似 --tables， 后 面 可 以 跟 多 个 值 。 


--compatible=name: 导出 的 文件 和 其 他 数据 库 更 兼容 (但 不 确保 ) ，name 的 值 可 以 是 ANSI、MYSQL323、MYSQL40、POSTGRESQL、ORACLE、MSSQL、DB2、MAXDB、 
NO _KEY_OPTIONS、NO TABLE_OPTIONS 或 NO _FIELD_OPTIONS。 


5) 导出 所 有 的 数据 库 。 


mysqldump --all-databases --add-drop-database > db.sql 


6) 导出 xml 格 式 的 数据 。 


mysqldump -u root -p --xml mylibrary > /tmp/mylibrary.xml 


如 果 有 二 进 制 数据 ， 则 要 使 


选项 --hex-blob。 


InnoDB 若 想 获得 一 致 性 的 数据 库 副本 ， 则 要 启 


选项 --single-transaction。 


mysqldump 不 能 利用 通配符 导出 多 个 表 ， 表 比较 多 的 时 候 ， 可 以 先 SELECT 出 要 导出 的 表 ， 如 下 语句 即 可 查询 到 所 有 的 表 。 


select group concat (table name SEPARATOR ' ') from information schema.tables where table schema ='db name' and table name like "Prefix 和 "7 


或 者 ， 可 以 采用 如 下 方式 将 表 名 导出 到 一 个 文件 。 


mysql -N information schema -e "select table name from tables where table name like 'Prefix %' 


1 Fhe but 


然后 运行 如 下 命令 导出 数据 。 


mysqldump db 'cat tbs.txt' > dump.sql 


也 可 以 忽略 部 分 表 ， 加 上 参数 --ignore-table=db_name.tbl_name1、--ignore-table=db_name.tbl_ name2。 


mysqldump 可 以 把 警告 和 错误 追加 记录 在 文件 中 ， 加 上 参数 --log-error=file_name 即 可 。 


如 果 使 用 mysqldump 导 出 数据 ， 可 以 考虑 的 优化 的 方式 有 如 下 5 种 。 


“ 选择 LI/O 活 动 低 的 时 候 。 


: I/O 分 离 〈 数 据 盘 和 备份 盘 L/O 分 离 ) 。 
“ 输出 到 管道 压缩 (gzip) 。 
“ --quick 跳 过 内 存 缓冲 〈--opt 默 认 启 用 ) 。 


“ 从 数据 保留 策略 上 想 办 法 ， 把 不 需要 修改 的 大 量 数据 放 到 历史 表 中 ， 而 不 是 每 次 都 备份 。 


mysqldump 导 出 的 SQL 转 储 文件 ， 可 以 用 如 下 的 形式 将 数据 导入 到 数据 库 中 。 


mysql db name < db name.sql 


转 储 文件 (dump 文 件 ) 里 面 一 般 指定 了 set names utf8， 所 以 我 们 在 导入 的 时 候 不 再 需要 指定 特殊 的 字符 集 。 例 外 的 情况 是 ， 有 一 些 特 殊 的 场合 ，SQL 文 件 是 以 其 他 的 字符 集 导 出 的 ， 这 个 时 候 导 入 
注意 保持 文件 的 字符 集 、 客 户 端 字符 集 和 连接 的 字符 集 的 一 致 性 ， 例 如 : 


mysql --default-character-set=charset name database name < import table.sql 


--default-character-set 的 意思 是 ， 客 户 端 和 连接 都 默认 使 用 charset_name 字 符 集 。 例 如 : 


mysql --default-character-set=gbk < import table.sql 


这 个 文件 的 字符 集 是 gbk。 


如 果 mysql| 客 户 端 输出 的 数据 是 乱码 ， 那 么 请 检查 下 客户 端 、 连 接 的 字符 集 配 置 。 例 如 ， 我 们 使 用 SSH 工 具 securecrt 登 录 主机 ， 然 后 使 用 mysql 命 令 行 工 具 连 接 MySQL 服 务 器 ，mysql 连 接 的 默认 配置 
可 能 是 latin1， 那 么 此 时 显示 utf8 的 数据 将 会 是 乱码 。 这 种 情况 下 ， 可 以 在 客户 端 运行 set names utf8， 并 确认 securecrt 的 字符 编码 是 UTF-8， 这 样 就 可 以 正常 显示 utf8 字 符 集 的 数据 了 。 


4.6.3 ”使 用 SELECT INTO OUTFILE 命 令 导出 数据 


如 果 想 要 进行 SQL 级 别 的 表 备 份 ， 可 以 使 用 SELECT INTO OUTFILE 命 令 语句 。 对 于 SELECT INTO OUTFILE， 输 出 的 文件 不 能 先 于 输出 存在 。 


示例 语句 如 下 所 示 。 

SELECT * INTO OUTFILE '/tmp/testfile.txt' FROM exporttable; 

SELECT * INTO OUTFILE '/tmp/testfile.txt' FIELDS TERMINATED BY ':' OPTIONALLY ENCLOSED BY '+' ESCAPED BY '!' FROM exporttable; 

SELECT a,b,atb INTO OUTFILE '/tmp/result.text' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM test table; 


一 般 来 说 ， 只 要 导出 导入 操作 中 使 用 的 选项 完全 一 致 ， 用 SELECT...INTO OUTFILE 命 令 导出 的 文本 文件 就 可 以 用 LOAD DATA 命 令 导 入 到 数据 表 里 去 ， 不 会 发 生 任何 变化 。 


4.64 ”使 用 LOAD DATA 导 入 数据 


SELECThttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/...INTO OUTFILE 可 以 筛选 记录 ， 导 出 表 数 据 到 一 个 文件 中 ， 而 
LOAD DATA INFILE 则 是 相反 的 操作 ， 是 读 取 这 个 文件 导入 表 中 。 


如 果 MySQL 服 务 器 和 LOAD DATA 命 令 不 在 同一 台 计 算 机 上 执行 ， 当 想 导 入 本 地 文件 系统 的 文件 时 ， 则 需要 使 用 语法 变 体 LOAD DATAhttp://www.hzcourse.com/resource/readBook? 
path=/openresources/teach _ ebook/uncompressed/16038/OEBPS/Text/...LOCAL INFILEhttp://www.hzcourse.com/resource/readBook? 
path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/...， 也 就 是 说 ， 如 果 指 定 LOCAL 关 键 词 ， 则 表明 从 客户 主机 读 文 件 。 如 果 没 指定 LOCAL， 那 么 文件 必须 位 于 服务 器 上 。 


可 能 是 因为 字符 集 设 置 而 导致 乱码 的 问题 。LOAD DATA INFILE 在 某 些 MySQL 的 版 本 上 不 支持 指定 导入 时 的 字符 集 。 这 时 ，MySQL 将 假设 导入 文件 的 字符 集 是 character_set_database， 这 个 变量 会 
根据 当前 数据 库 指定 的 字符 集 而 变化 ; 如 果 没 有 指定 当前 数据 库 ， 那 么 它 的 值 将 由 character_set_server 决 定 。 因 此 如 果 LOAD DATA INFILE 不 支持 指定 字符 集 ， 那 么 在 导入 前 需要 确认 当前 数据 库 的 字符 
集 ， 如 果 与 当前 数据 库 的 字符 集 不 符 ， 则 使 用 SET character_set_database 命 令 进行 更 改 。SET names 命 令 也 是 可 行 的 ， 或 者 直接 在 LOAD DATA INFILE 命 令 里 指定 字符 集 ， 例 如 如 下 语句 。 


mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (‘name', ‘age', description ) set update 


其 他 示例 如 下 。 


示例 1: 


LOAD DATA INFILE '/path/to/file' 
INTO TABLE table name 

FIELDS TERMINATED BY '\t' 
ENCLOSED BY '\'' 

LINES TERMINATED BY '\n' 


示例 2: 


LOAD DATA INFILE '/path/to/file' REPLACE 
INTO TABLE table name 

FIELDS TERMINATED BY '\t' 

ENCLOSED BY '\'' 

LINES TERMINATED BY '\n' 


示例 3: 导入 csv 格 式 的 文本 文件 。csv 格 式 的 文件 ， 即 逗号 分 隔 的 数据 文件 。 首 先 ， 生 成 如 下 csv 文 件 。 


mysql> select field list from table name into outfile '/home/garychen/tmp/table name 2.csv' fields terminated by ',' optionally enclosed by '"' lines terminated by '\n'; 


然后 ， 截 断 表 ， 清 空 数据 ， 命 令 如 下 。 


mysql> truncate table table name; 


最 后 ， 进 行 验证 ， 可 以 看 到 ， 原 来 导出 的 文件 ， 现 在 可 以 正常 导入 到 数据 表 中 ， 语 句 如 下 。 


mysql> load data local infile '/home/garychen/tmp/table name 2.csv' into table table name fields terminated by ',' lines terminated by '\n' (fieldl,field2,field3) 7 


LOAD DATA 的 优化 ” 相 较 于 普通 的 mysql 命 令 ，LOAD DATA 执 行 SQL 文 件 导入 的 方式 要 快 得 多 ， 一 般 可 以 达到 每 秒 几 万 条 记录 的 插入 速度 。 有 时 对 于 大 表 ， 我 们 仍然 期 望 获得 更 高 的 导入 速度 ， 以 下 
将 针对 InnoDB 和 MylSAM 表 分 别 叙 述 如 何 进 行 优化 。 


对 于 InnoDB 的 优化 ， 建 议 的 方式 如 下 。 
“ 将 innodb_buffer_pool_size 设 置 得 更 大 些 。 
: 将 innodb log file_size 设 置 得 更 大 些 ， 如 256MB。 
:设置 忽略 二 级 索引 的 唯一 性 约束 ，SET UNIQUE_CHECKS=0。 
“ 设置 忽略 外 键 约束 ，SET FOREIGN_KEY_CHECKS=0。 
“ 设置 不 记录 二 进 制 日 志 ，SET sql_ log bin=0。 
“ 按 主键 顺序 导入 数据 。 由 于 InnoDB 使 用 了 聚集 索引 ， 如 果 是 顺序 自 增 ID 的 导入 ， 那 么 导入 将 会 更 快 ， 我 们 可 以 把 要 导入 的 文件 按照 主键 顺序 先 排 好 序 再 导入 。 


' 对 于 InnoDB 引 擎 的 表 ， 可 以 在 导入 前 ， 先 设置 autocommit=0， 例 如 如 下 语句 。 


truncate table name; 

set autocommit = 0; 

load data infile /path/to/file into table table namehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... 
commit; 


“ 可 以 将 大 的 数据 文件 切割 为 更 小 的 多 个 文件 ， 例 如 使 用 操作 系统 命令 split 切 割 文件 ， 然 后 再 并 行 导 入 数据 。 
对 于 MylSAM 的 优化 ， 建 议 的 方式 如 下 。 
“ 将 bulk_insert_tree_size、myisam_sort_buffer_size、key_buffer_size 设 置 得 更 大 些 。 


“ 先 禁用 key (ALTER TABLE…DISABLE KEYS) ， 然 后 再 导入 数据 ， 然 后 启用 key (ALTER TABLE…ENABLE KEYS) 。 重 新 启用 key 后 ， 可 以 批量 重新 创建 索引 ， 批 量 创建 索引 的 效率 比 在 逐 笔 插入 


记录 时 创建 索引 要 高 效 得 多 。 注 意 ALTER TABLE…DISABLE KEYS 禁 用 的 只 是 非 唯一 索引 ， 唯 一 索引 或 主键 是 不 能 禁用 的 ， 除 非 你 先 手 动 移 除 它 。 


. 使 用 LOAD DATA INFILE ，tab 分 隔 的 文件 更 容易 解析 ， 比 其 他 方式 更 快 。 


由 于 唯一 索引 (约束 ) 对 于 我 们 导入 数据 的 影响 比较 大 ， 尤 其 对 于 大 表 导 入 ， 我 们 需要 留意 这 一 点 。 不 要 在 大 表 上 创建 太 多 的 唯一 索引 ， 主 键 、 唯 一 索引 不 要 包含 太 多 列 ， 否 则 导入 数据 将 会 很 慢 。 


关于 优化 导入 数据 的 方式 ， 见 仁 见 智 ， 其 实 一 次 INSERT 播 入 多 条 记录 ， 控 制 每 个 表 的 大 小 (<15GB， 确 保 B-tree 索 引 在 内 存 中 ) ， 并 发 导入 ， 批 量 事务 等 方式 都 有 好 处 ， 但 更 多 的 时 候 也 要 考虑 维护 的 
简单 方便 。 


如 果 有 很 多 表 ， 那 么 使 用 mysqldump 会 更 简单 。 如 果 是 导入 个 别 大 表 ， 而 且 对 于 时 间 有 很 高 的 要 求 ， 那 么 LOAD DATA 未 尝 不 可 。 


mysqldump 默 认 的 导出 文件 ， 其 实 已 经 包含 了 一 些 优 化 了 ， 会 有 禁用 key、 启 用 key 的 操作 ， 而 且 是 一 条 INSERT 语 句 包括 多 行 记 录 的 。 


4.6.5 用 mysqlimport 工 具 导 入 


mysqlimport 命 令 的 语法 格式 如 下 。 


mysqlimport databasename tablename.txt 


示例 如 下 。 


mysqlimport -~-local test imptest.txt 


4.6.6 ”用 mysql 程 序 的 批 处 理 模式 导出 


有 时 可 以 考虑 使 用 mysqI 工 具 导 出 数据 ， 特 别 是 远程 操作 的 时 候 ， 下 面 来 看 几 个 示例 。 


示例 1: 导出 authors 表 。 


mysql -u root --password=123456 --batch --default-character-set=utf8 -e "SELECT * FROM authors;" mylibrary > output.txt 


示例 2: 查询 结果 的 纵向 显示 。 


mysql -u root --password=123456 --Vertical '--execute=SELECT * FROM titles;' mylibrary > test.txt 


示例 3: 生成 html 表 格 形式 的 输出 。 


mysql -u root -p=xxx --html '--execute=SELECT * FROM titles;' \ 
-default-character-set=latinl mylibrary > test.html 


示例 4: 用 mysq| 程 序 生 成 xml 格 式 的 输出 。 


mysql -u root -p -xml -default-character-set=utf8 
'-execute=SELECT * FROM titles;' mylibrary > C:\test.xml 


4.6.7 ”用 split 切 割 文件 ， 加 速 导 入 数据 


split 命 令 的 作用 是 切割 文件 ， 语 法 格式 如 下 所 示 。 


split [OPTION] [INPUT 


[PREFIX]] 


如 果 不 加 入 任何 参数 ， 默 认 情 况 下 是 以 1000 行 的 大 小 来 分 割 的 。 


下 面 来 看 个 案例 ， 使 用 split 切 割 导出 的 数据 文件 ， 这 些 数 据 文件 需要 通过 PHP 脚 本 解析 二 次 处 理 后 ， 再 插入 MySQL 数 据 库 ， 示 例如 下 。 


split -1 5052000 subs.txt test split sub_ 


其 中 ，-| 参 数 指定 按 多 少 条 记录 切割 文件 。 这 里 将 按照 每 5052000 条 记录 进行 切割 ， 


生成 的 文件 名 以 test_split_sub 为 前 缀 ， 生 成 的 文件 名 类 似 如 下 。 


test_ split sub aa test split sub ab test split sub ac … 


然后 就 可 以 并 发 执行 多 个 PHP 客 户 端 程序 来 导入 数据 了 。 


4.7 事务 和 锁 


4.7.1 概述 


我 们 知道 ， 数 据 库 是 一 个 多 用 户 访问 系统 ， 因 此 需要 一 种 机 制 来 确保 当 多 个 用 户 同时 读 取 和 更 新 数据 时 ， 数 据 不 会 被 破坏 或 失效 ， 锁 就 是 这 样 的 一 种 并 发 控制 技术 。 当 一 个 用 户 需要 修改 数据 库 中 的 记 


录 时 ， 首 先 要 获取 锁 ， 只 有 这 样 该 用 户 在 锁 的 持 有 期 间 ， 其 他 用 户 就 不 能 对 这 些 记录 进行 修改 了 。 


不 同 的 数据 库 产品 实现 的 锁 机 第 


一 般 表现 形式 ， 对 于 具体 的 锁定 细节 ， 请 读者 自行 参考 相关 资料 并 验证 。 


MySQL server 级 别 的 锁 大 致 有 如 下 两 种 。 


(1) Table locks ( 表 锁 ) 


mysql> LOCK TABLES table name READ; 
mysql> SELECT SLEEP(30) FROM table name LIMIT 1; 


(2) Global locks (全 局 锁 ) 


各 不 相同 ， 而 锁定 的 程度 也 会 受到 事务 隔离 级 别 的 影响 。 不 同 的 数据 库 产品 实现 锁 的 方式 各 不 一 样 ， 即 使 是 MySQL， 不 同 版 本 之 间 也 可 能 存在 差异 。 本 节 只 是 介绍 锁 的 


mysql> FLUSH TABLES WITH READ LOCK; 
Name locks mysql> RENAME TABLE table name TO table name2; 
String locks mysql> SELECT GET LOCK('my lock', 100)7 


下 面 将 首先 简单 介绍 MylISAM 表 的 锁 技术 ， 生 产 环境 中 使 


4.7.2 ”MylSAM 的 表 锁 


MySQL 支 持 对 MylISAM 和 MEMORY 表 进行 表 级 锁 。 


下 面 来 看 看 表 锁 定 的 原理 。 


对 于 WRITE，MySQL 使 用 的 表 锁 定 方法 原理 如 下 。 


“ 如 果 在 表 上 没有 锁 ， 则 


在 它 上 面 放 一 个 写 锁 。 


“ 和 否则， 把 锁定 请 求 放 在 写 锁定 队列 中 。 


对 于 READ，MySQL 使 


的 锁定 方法 原理 如 下 。 


:如果 在 表 上 没有 写 锁定 ， 则 把 一 个 读 锁定 放 在 它 上 面 。 


“ 否则 ， 把 锁定 请 求 放 在 读 锁定 队列 中 。 


MyISAM 的 场景 很 少 ， 所 以 这 里 只 是 介绍 下 基本 原理 和 可 能 会 碰 到 的 问题 。 然 后 再 着 重 介绍 下 InnoDB 事 务 及 与 事务 相关 的 锁定 技术 。 


当 一 个 锁定 被 释放 时 ， 锁 定 可 先 被 写 锁定 队列 中 的 线程 得 到 ， 然 后 是 读 锁定 队列 中 的 线程 。 


这 就 意味 着 ， 如 果 你 在 一 个 表 上 有 很 多 更 新 ， 那 么 SELECT 语句 将 等 待 直到 没有 更 多 的 更 新 操作 为 止 。 


可 以 通过 检查 table locks waited 和 table_ locks immediate 状 态 变量 来 分 析 系 统 上 的 表 锁 定 争夺 。 


对 于 MyISAM 引 擎 的 表 ， 


数据 文件 的 尾部 (从 表 的 中 部 删除 或 更 新 的 行 可 能 会 导 


如 果 INSERT 语 句 不 会 发 生 冲 突 ， 则 可 以 在 其 他 客户 正在 读 取 MylSAM 表 的 时 候 插入 行 。 如 果 数 据 文件 中 不 包含 空闲 块 ， 则 不 会 发 生 冲 突 ， 因 为 在 这 种 情况 下 ， 记 录 总 是 插入 在 


空洞 ) 。 如 果 有 空洞 ， 那 么 当 所 有 空洞 都 填 入 新 的 数据 时 ， 并 行 的 插入 就 能 够 重新 自动 启用 。 


表 锁 定 将 会 使 很 多 线程 同时 从 一 个 表 中 进行 读 取 操作 ， 但 是 如 果 某 个 线程 想 要 对 表 进 行 写 操作 ， 那 么 它 必须 首先 获得 独占 访问 。 更 新 期 间 ， 所 有 其 他 想 要 访问 该 表 的 线程 必须 等 待 ， 直 到 更 新 完成 。 


如 下 是 需要 注意 的 特殊 的 表 锁 机 制 。 


如 果 一 个 客户 发 出 了 长 时 间 运 行 的 查询 (SELECT) ， 而 此 时 ， 另 一 个 客户 想 要 对 同一 个 表 进 行 更 新 (UPDATE) ， 那 么 该 客户 必须 等 待 直到 SELECT 完成 。 如 果 此 时 还 有 一 个 客户 对 同一 个 表 也 发 出 了 


另 一 个 SELECT 语 句 ， 因 为 UPDATEtESELECT 的 优先 级 高 ， 那 么 该 SELECT 语 句 将 


以 上 的 机 制 ， 在 很 多 基于 MylSAM 引 擎 表 的 程序 中 可 能 会 导致 严重 的 性 能 问题 ， 比 六 


SELECT 查询 线程 大 量 累 计 。 


等 待 直到 UPDATE 完 成 ， 并 且 它 们 都 要 等 待 第 1 个 SELECT 完成 。 性 能 问题 往往 发 生 在 这 个 步骤 。 


一 些 论坛 程序 。 建 议 的 解决 方案 是 设置 变量 -low-priority-updates=1， 即 可 以 在 系统 级 别 进行 设置 ， 以 避免 


一 些 公司 采 


在 一 个 锁定 中 进行 很 多 更 新 比 没有 锁定 的 更 新 要 快 得 多 。 


了 MyISAM 作 为 统计 库 ， 为 了 加 速 ， 往 往 在 批量 更 新 数据 的 时 候 设 置 了 并 发 ， 但 由 于 并 发 更 新 时 频繁 的 表 锁 竞 争 ， 


更 新 数据 的 速度 反而 会 下 降 。 可 以 使 


LOCK TABLES 来 提高 速度 ， 


将 表 中 的 内 容 切 分 为 几 个 小 表 也 可 以 有 所 帮助 。 


LOCK TABLES 的 一 些 表 现 如 下 ， 读 者 可 以 自行 验证 。 


“LOCK TABLES tl READ;” 表 示 其 他 会 


“LOCK TABLEStl write;” 


“UNLOCK TABLES;” 


4.7.3 ”事务 定义 和 隔离 级 别 


话 可 读 ， 但 不 能 更 新 。 


表示 其 他 会 话 不 可 读 ， 不 可 写 。 


表示 释放 锁 。 


1. 事 务 的 ACID 特性 


并 非 任意 的 对 数据 库 的 操作 序列 都 是 数据 库 避 


(1) 原子 性 (Atomic) 


事务 是 数据 库 管理 系统 执行 过 程 中 的 一 个 逻辑 


事务 作为 一 个 整体 被 执行 ， 包 含 在 


单元 ， 由 有 限 的 操作 序列 构成 。 


务 。 数 据 库 导 


务 拥 有 以 下 4 个 特性 ， 习 惯 上 被 称 为 ACID 特性 。 


事务 中 的 对 数据 库 的 操作 要 么 全 部 被 执行 ， 要 么 全 部 都 不 执行 。 


比如 ，lInnoDB 支 持 寻 
。 而 对 于 MylSAM 引 擎 


务 ， 在 InnoDB 事 务 内 如 果 执行 了 一 条 插入 多 个 值 的 INSERT 语 句 
的 表 ， 它 不 支持 事务 ， 那 么 在 出 错 之 前 的 值 是 可 以 被 正常 插入 到 表 中 的 。 


“INSERT INTO t VALUES(b1)(b2)(b3)(b4)(b5)(b6)” 只 要 其 中 一 个 值 插入 失败 ， 那 么 整个 事务 就 失败 


(2) 一 致 性 (Consistency) 


dl 


务 应 确保 数据 库 的 状态 
(3) 隔离 性 (lsolation) 


多 个 事务 并 发 执行 时 ， 


从 一 个 一 致 状态 转变 为 男 一 个 一 致 状态 。 


一 个 事务 的 执行 不 应 影响 其 


一 致 状态 的 含义 是 数据 库 中 的 数据 应 满足 约束 。 


他 事务 的 执行 。 


(4) 持久 性 (Durability) 


已 被 提交 的 事务 对 数据 库 的 修改 应 该 被 永久 保存 在 数据 库 中 。 


2. 事 务 的 隔离 级 别 


| 


read uncommitted 也 称 为 读 未 提交 ， 寻 


(2) read committed 


read committed 也 称 为 读 提 交 ， 事 务 可 | 


begin transaction; 
select a from b where c=1; 


http://www.hzcourse.com/ OU oo sda eo ebeache ebook/uncompressed/16038/0EBPS/Text/. 
可 重复 读 


select a from b where c=1; 
end 


务 隔离 级 别 越 高 ， 越 能 保证 数据 的 完整 性 和 一 致 性 ， 但 是 对 并 发 性 能 


read uncommitted (dirty read 


4 影响 也 会 越 大 。MySQL 事 务 包含 如 下 4 个 隔离 级 别 ， 按 隔离 级 别 从 低 到 高 排列 如 下 。 


务 可 以 看 到 


省 
a 


他 导 


务 更 改 了 但 还 没有 提交 的 数据 ， 即 存在 脏 读 的 情况 。 


以 看 到 在 它 执行 的 时 候 ， 其 他 事务 已 经 提交 的 数据 ， 已 被 大 部 分 数据 库 系统 采 上 


。 人 允许 不 可 重复 读 ， 但 不 允许 脏 读 ， 例 如 如 下 语句 。 


# 其 他 事务 更 改 了 这 条 记录 , 并 且 commit 提 交 
# 可 以 看 到 新 的 数据 ， 


(3) repeatable read 


repeatable read 也 称 为 可 重复 


务 内 ， 同 一 个 查询 请 求 ， 若 多 次 执行 ， 则 获得 的 记录 集 是 相同 的 ， 但 不 能 杜绝 幻 读 ， 示 例如 下 。 


读 。 同 一 个 寻 


begin transaction 
select a from b where c=1; 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/.. 


select a from b where c=1; 
end 


发 生 幻 读 的 场景 有 ， 某 事务 A 按 某 个 条 件 进行 查询 ， 此 时 尚未 提交 。 然 后 另 一 个 


MySQL InnoDB 引 警 默认 使 


# 其 他 事务 更 改 了 这 条 记录 ， 


并 且 commit 


# 仍 然 看 到 旧 的 数据 ,可 重复 读 , 但 不 能 杜绝 幻 读 


务 成 功 插入 了 数据 。 事 务 A 再 次 查询 时 ， 可 能 会 读 取 到 新 插入 的 数据 。 


后 删除 一 行 并 提交 ， 则 事务 A 看 不 到 该 行 已 被 删除 。 插 入 和 更 新 的 处 理 与 此 相似 。 


的 是 repeatable read (可 重 


务 A 发 出 一 个 一 致 性 读 之 时 , 目 
务 来 前 进 时 间 点 ， 然 


一 个 普通 


复读 ) 。 当 对 


的 SELECT 语 句 ，InnoDB 将 给 事务 A 一 个 时 间 点 。 如 果 另 一 个 事务 在 该 时 间 点 被 指定 之 
后 进行 另 一 个 SELECT。 这 被 称 为 多 版 本 并 发 控制 (multi-versioned concurrency 


可 以 通过 提交 导 


control) 。 如 果 想 要 查看 数据 库 的 最 新 状态 ， 应 该 用 READ COMMITTED 隔 离 级 别 或 用 一 个 锁定 读 “SELECT*FROM t LOCK IN SHARE MODE;” 。 

为 了 满足 可 重复 读 ， 事 务 开启 后 ， 对 于 要 查询 的 数据 ， 需 要 保留 旧 的 行 版 本 ， 以 便 重新 查询 ， 这 在 一 些 特殊 的 环境 中 可 能 会 导致 某 些 问题 ， 比 如 一 些 框架 ， 对 于 任何 操作 ， 都 要 先进 入 
AUTOCOMMIT=0 的 模式 ， 直 到 有 写 入 时 才 会 进行 COMMIT 提 交 ， 这 可 能 会 导致 事务 数 过 多 ， 有 时 由 于 框架 或 编码 的 不 完善 ， 可 能 会 出 现 长 时 间 不 提交 的 事务 ， 导 致 UNDO 保 留 的 旧 的 数据 记录 人 迟 迟 不 能 
被 删除 ， 还 可 能 导致 UNDO 空 间 暴涨 。 对 于 这 些 极端 情况 ， 首 先 应 该 考虑 调整 应 用 ， 实 在 没有 办 法 的 话 ， 可 以 考虑 将 事务 的 隔离 模式 更 改 为 read committed。 


(4) serializable 


serializable 也 称 为 序列 化 ， 


该 锁 将 把 普通 的 SELECT 语句 默认 改 成 SELECT...LOCK IN SHARE MODE。 即 为 查询 语句 涉及 的 数据 加 上 共享 琐 ， 阻 塞 其 


最 高 级 别 的 锁 ， 


它 解 决 了 幻 读 ， 它 将 锁 施加 在 所 有 访问 的 数据 上 。 


他 事务 修改 真实 数据 。 


如 下 的 命令 语句 可 查询 当前 的 事务 隔离 级 别 。 


mysal> Show variables like '%tx%'; 


| tx isolation | REPEATABLE-READ 


二 -一 一- 一- 一- 一- 一 一 一 一 一 一 一 一 一 一 二 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


1 row in set (0.00 sec) 


-+ 


或 者 

ys SELECT @@global.tx isolation, @@session.tx isolation; 
和 
| @@global .tx isolation | Q@@session.tx isolation | 
NERA Ah ON AS 十 
| REPEATABLE-READ | REPEATABLE-READ | 
ee CD te . 


设置 事务 隔离 级 别 的 语法 格式 如 下 。 


SET [GLOBAL | SESSION] TRANSRACTION ISOLATION LEVEL 
{ READ UNCOMMITTED | READ COMMITTED | REPEATABLE READ | SERIALIZABLE } 


在 配置 文件 内 修改 mysqld 节 的 transaction-isolation 参 数 的 方式 如 下 。 


[mysqld] 


transaction-isolation = {READ-UNCOMMITTED | READ-COMMITTED 


| REPEATABLE-READ | SERIALIZABLE} 


3 注意 如 上 配置 文件 transaction-isolation 选 项 的 级 别名 中 有 连 


字符 ,但 SET TRANSACTION 语 身 的 级 别名 中 则 没有 连 字 符 。 


不 建议 更 改 InnoDB 的 事务 隔离 级 别 。 一 些 传统 的 商业 数据 库 ， 如 Oracle， 使 用 了 类 似 read-commited 的 隔离 级 别 。 但 由 于 绝 大 部 分 场景 下 ，MySQL 的 用 户 都 使 用 默认 的 隔离 级 别 repeatable re 


此 隔离 级 别 下 的 使 用 验证 会 比 其 他 隔离 级 别 完善 得 多 ， 


4.7.4 InnoDB 的 行 锁 


1. 概 述 


一 般 来 说 ， 我 们 没有 必要 针对 InnoDB 引 警 的 表 使 


行 级 锁定 的 优点 如 下 。 


“ 当 在 很 多 线程 中 访问 不 同 的 行 时 只 存在 少量 锁定 冲突 。 


“ 回 滚 时 只 有 少量 的 更 改 。 


“ 可 以 长 时 间 锁 定单 一 的 行 。 


数据 库 的 锁定 技术 往往 是 基于 索引 来 实现 的 ，InnoDB 也 不 例外 。 如 果 我 们 的 SQL 语句 


官方 可 能 也 不 会 对 非 默认 隔离 级 别 进 行 充 分 的 验证 ， 或 者 存在 不 完善 支持 的 行为 。 


LOCK TABLES 锁 定 记录 。 正 常情 况 下 ， 使 用 InnoDB 支 持 的 行 锁 技 术 就 能 够 处 理 绝 大 部 分 场景 。 


面 没有 利用 到 索引 ， 那 么 InnoDB 将 会 执行 一 个 全 表 扫 描 ， 锁 定 所 有 的 行 (不 是 表 锁 ) 。 


锁 过 多 的 行 ， 增 加 了 锁 的 竞争 ， 降 低 了 并 发 率 ， 所 以 建立 索引 是 很 重要 的 ，InnoDB 需 要 索引 来 过 滤 (在 存储 引擎 层 中 ) 掉 那 些 不 需要 访问 的 行 。 


这 里 举例 说 明 如 下 。 


mysql> SET AUTOCOMMIT=0; 
mysql> BEGIN; 


mysql> SELECT actor id FROM sakila.actor WHERE actor id < 5 


AND actor id <> 1 FOR UPDATE; 


mysql> EXPTLATN SELECT actor id FROM sakila.actor 
WE actor id < 5 actor : 人 1 a UPDATE; 


十 -一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| id | select type | eale | Ge | ey | Extra | 
十 ~ 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 

| | SIMPLE | So | En | BR | Using wore; Using index | 

二 一 一 一 十 一 一 一 一 一 一 一 一 一 一 A A A 十 


ad ， 


如 上 案例 所 示 ，EXPLAIN 输 出 的 执行 计划 里 type 为 range， 即 索引 范 上 
条 件 actor id<>1) ， 所 以 对 于 查询 “SELECT actor id FROM sakila.actor WHERE actor id<5 AND actor id<>1 FOR UPDATE;” 


查找 ，MySQL 会 锁定 1~4 行 ， 而 不 是 2~4 行 ， 为 什么 呢 ? 因 为 InnoDB 存 储 引擎 的 优化 器 会 忽略 最 后 一 个 范围 查找 之 后 的 条 
还 锁定 了 actor_id=1 的 行 。 即 MySQL 执 行 的 计划 是 InnoDB 存 储 层 先 


进行 索引 范围 查找 ,扫描 了 1、2、3、4 行 的 记录 ， 然 后 才 返 回 给 MySQL Server 层 ，Server 层 再 


有 告诉 InnoDB 引 警 需要 过 滤 掉 行 1 的 记录 。 


2. 几 种 行 锁 技 术 


InnoDB 有 几 种 不 同类 型 的 行 锁 技术 ， 如 记录 锁 (record lock) 、 


记录 锁 (index-row locking) : 这 是 一 个 索引 记录 锁 。 


WHERE 条 件 去 过 滤 掉 行 1 的 记录 (注意 EXPLAIN 执 行 计 划 里 的 “Using where”) ，MySQL Server 


间隙 锁 (gap lock) ， 和 next-key 锁 。 


它 是 建立 在 索引 记录 上 的 锁 ， 很 多 时 候 ， 扫 描 一 个 表 ， 由 于 无 索引 ， 往 往 会 导致 整个 表 被 锁 住 ， 建 立 合适 的 索引 可 以 防止 扫描 整个 表 。 


间隙 锁 : 这 是 施加 于 索引 记录 间隙 上 的 锁 。 


next-key 锁 : 记录 锁 加 间 阶 锁 的 组 合 。 也 就 是 说 next-key 锁 技术 包含 了 记录 锁 和 间 阶 锁 。 


有 时 在 开发 过 程 中 我 们 会 发 现 ， 在 INSERT 的 时 候 会 锁定 相 邻 的 键 。 其 实 这 是 一 个 next-key 锁 技术 。MySQL 使 用 这 个 技术 来 避免 幻 读 。 


当 同一 查询 在 不 同时 间 产 生 不 同 的 结果 集 时 ， 在 寻 


务 内 发 生 所 谓 的 幻 读 。 例 如 ， 如 果 SELECT 执 行 两 次 ， 但 第 二 次 返回 第 一 次 未 返回 的 行 ， 则 该 行为 “幻影 ” 行 。MySQL 默 认 的 是 repeatable rea 


件 ( 即 


层 并 没 


d, 但 


更 进一步 ， 它 使 用 next-key 锁 来 防止 发 生 幻 读 现象 。 


例如 ， 对 于 语句 “SELECT*FROM child WHERE id>100 FOR UPDATE;”， 如 果 child 表 内 有 id=90、id=102， 那 么 gap 就 是 90-102 了 ， 锁 住 这 个 gap， 才 能 防止 在 你 的 事务 执行 期 间 ， 其 他 用 户 插入 
id=101 的 记录 ， 造 成 幻 读 。 当 然 ， 你 所 在 的 当前 事务 是 允许 插入 id=101 的 记录 的 ， 这 样 其 实 变通 实现 了 唯一 性 的 检查 。 


如 果 需 要 禁用 next-key 锁 ， 可 以 设置 事务 隔离 级 别 为 read committed 级 别 ， 或 者 设置 参数 innodb locks_unsafe for_binlog=1。 


在 开发 数据 库 程序 的 时 候 必 须要 清楚 的 一 点 ， 当 我 们 执行 数据 操作 的 时 候 ， 很 可 能 会 导致 间隙 锁 。 由 于 间隙 锁 锁定 的 范围 比较 大 ， 会 导致 可 并 发 执行 的 事务 数 受 到 限制 。 


还 有 一 点 需要 留意 的 是 ，next-key 锁 是 为 了 防止 发 生 幻 读 ， 而 只 有 repeatable read 及 以 上 隔离 级 别 才能 防止 幻 读 ， 所 以 在 read committed 隔 离 级 别 下 面 没有 next-key 锁 这 一 说 法 。 


3 等待 行 锁 超时 


有 时 我 们 在 慢 查 询 日 志 中 会 看 到 一 些 很 耗 时 的 查询 ， 但 单独 执行 却 很 快 ， 此 时 有 可 能 就 是 因为 该 查询 因 等 待 IhnoDB 行 锁 而 超时 。 


如 下 是 生产 环境 的 一 个 示例 。 

mysql> DESC tbl rankings; 

二 -一 一 一- 一 一 一 一 一 一 -一 一 + 一 一 一 一 一 一 一 + 一 一 一 一 一 一 + 一 -一 二 -一 -一 一 一- 一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Field | Type | Null | Key | Default | Extra | 

二 -一 -一 -一 一 -一 -一 十 一 一 一 一 一 -一 -一 十 一 -一 -一 一 二 一 一 -一 一 十 -一 -一 -一 -一 - 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 


| ranking | int(11) | NO | PRI | NULL | auto increment | 
| rid | int(11) | YES | UNI | NULL | | | 
| historyRanking | int(11) | YES | 1011 
| status | int(ll) | YES | 1011 
十 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 + 一 一 一 一 一 + 一 -一 二 -一 -一 一 一- 一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
4 rows in set(0.00 sec) 
mysql> SHOW CREATE TABLE tbl rankings \G; 
太 交 炎 闪 大 闫 次 灾 六 交 关 次 炎 六 交 关 六 关 交 交大 交 交 六 大 灾 交 了 。 芽 O 〇 WW 认 大 关 交 实 六 奖 关 次 溢 六 次 关头 实 次 交大 交 交 六 大 六 次 六 交大 
Table: tbl rankings 
Create Table: CREATE TABLE ‘tbl] rankings. ( 
“ranking”int (11) NOT NULL AUTO INCREMENT COMMENT ' 排 名 ， 自 增 '， 
“rid”int (11) DEFAULT NULL COMMENT ' 角 色 id， 唯 一 约束 '， 
“historyRanking”int (11) DEFAULT '0' COMMENT ' 历 史 排名 '， 
“status ”int(11) DEFAULT '0', 
PRIMARY KEY (‘ranking ), 
UNIQUE KEY ‘ridIindex. (‘rid) 
) ENGINE=InnoDB AUTO INCREMENT=209315 DEFAULT CHARSET=utf8 COMMENT=' 龙 虎 榜 核 心 表 ' 
1 row in set (0.00 sec) 


一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 
| ranking | rid | historyRanking | status | 
填 -一 -一 -一 -一 -一 十 -一 -一 -一 -一 -一 一 和 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 中 
[ 4 | 551915 | 24 | 0 | 
| 2 | 350149 | 9 | 0 | 
| 3 | 229709 | 35 | 0 | 


表 tbl_rankings 的 rid 列 上 创建 了 唯一 索引 。 


下 面 新 建 两 个 会 话 ， 分 别 执行 如 下 的 操作 。 


会 话 1 执行 命令 “update tbl_rankings set rid=0 where ranking=1;”， 此 时 会 锁 住 ranking=1 的 记录 里 的 rid 值 索引 (原来 的 rid=551915) 。 该 会 话 不 允许 : 


不 允许 其 他 会 话 设置 rid=0。 


他 的 会 话 设置 rid=551915， 同 样 的， 也 


会 话 2 运行 命令 “update tbl_rankings set rid=551915 where ranking=2;”， 此 时 会 话 2 会 被 阻塞 ， 并 且 一 直 等 待 。 在 50s 后 超时 并 在 慢 查 询 日 志 里 记录 超时 信息 。 


# Time: 120615 10:45:35 

# User@Host: root[root] @ localhost [] 

# Query time: 50.727669 Lock time: 0.000107 Rows sent: 0 Rows examined: 1 
SET timestamp=1339728335; 一 了 本 

update tbl rankings set rid=551915 where ranking=2; 


可 以 看 到 索引 上 有 锁 。 


show innodb status \G; 

mysql thread id 2211, query id 2708 localhost root Updating 
update tbl rankings set rid=551915 where ranking=2 

Ri TRX HAS BEEN WAITING 8 SEC FOR THIS LOCK TO BE GRANTED: 


RECORD LOCKS space id 0 page no 5254 n bits 1192 index ‘ridIndex of table “momo .tbl_rankings 


Record lock, heap no 176 PHYSICAL RECORD: n fields 2; compact format; info bits 32 
0: len 4; hex 80086beb; asc k ;; 1: len 4; hex 80000001; asc ; 


4.MVCC 简 要 介绍 


现 更 新 数据 时 的 无 阻塞 读 。 


在 常用 的 事务 隔离 级 别 read committed 和 repeatable read 级 ， 都 应 用 了 MVCC 技 术 。 


InnoDB 官 方 建议 的 默认 的 事务 隔离 级 别 是 可 重复 读 (repeatable read) ， 意 思 是 在 同一 个 事务 内 ， 对 于 同一 个 查询 请 求 ， 多 次 执行 ， 获 得 的 记录 集 是 相同 的 。 这 样 
据 ,而 不 管 它 执行 了 多 久 ， 这 一 般 是 通过 保存 数据 的 快照 来 实现 的 。MVCC 会 保存 某 个 时 间 点 上 的 数据 快照 。 这 就 意味 着 事务 可 以 看 到 一 个 一 致 的 数据 视图 ， 不 管 它们 还 需要 运行 多 久 。 这 同时 也 意味 着 不 


同 的 事务 在 同一 个 时 间 点 看 到 的 同一 个 表 的 数据 可 能 是 不 同 的 。 


具体 的 更 详细 的 介绍 ， 请 参考 官方 文档 。 


4.8 死 锁 


trx id 0 7722 lock mode S waiting 


单纯 靠 行 级 别 的 锁 ， 是 不 可 能 实现 好 的 并 发 性 的 ，MySQL InnoDB 还 需要 配合 MVCC (Multiversion Concurrency Control) 技术 来 提供 高 并 发 访问 。 在 很 多 情况 下 MVCC 可 以 不 需要 使 用 锁 ， 即 可 实 


dl 


务 内 的 查询 会 看 到 一 致 性 的 数 


死 锁 是 指 两 个 或 两 个 以 上 的 事务 在 执行 过 程 中 ， 因 争夺 资源 而 造成 的 一 种 互相 等 待 的 现象 ， 若 无 外 力作 用 ， 它 们 都 将 无 法 进行 下 去 。 我 们 可 以 用 图 4-3 来 说 明 死 锁 的 形成 。 


图 4-3 中 ， 进 程 P1、P2 都 需要 申请 额外 的 资源 ，P1 持 有 资源 R2， 需 要 申请 资源 R1，P2 持 有 资源 R1， 需 要 申请 资源 R2， 此 时 就 会 形成 一 个 闭环 ， 两 个 进程 都 无 法 继续 运行 。 


理论 上 ， 产 生死 锁 有 4 个 必要 条 件 。 
: 禁止 抢占 (no preemption) 

“ 持 有 和 等 待 (hold and wait) 

“ 互 斥 (mutual exclusion) 

“ 循环 等 待 〈circular waiting) 


预防 死 锁 就 是 至 少 破坏 这 4 个 条 件 中 的 一 项 ， 即 破坏 “禁止 抢占 ”、“ 持 有 等 待 ”、 “资源 互 斥 ”或 “循环 等 待 ”。 


实践 中 ， 处 理 死 锁 的 方法 大 致 分 为 两 种 。 既 可 以 检测 死 锁 并 进行 修复 ， 也 可 以 对 事务 进行 管理 ， 使 死 锁 永 远 都 不 可 能 形成 。 当 存在 死 锁 时 ， 对 该 状态 进行 修复 以 使 所 有 涉及 的 事务 都 能 继续 执行 通常 是 
不 可 能 的 。 因 此 ， 至 少 其 中 的 一 个 事务 必须 终止 并 重新 开始 。InnoDB 会 自动 检测 死 锁 。 据 官方 文档 可 知 ， 目 前 InnoDB 处 理 死 锁 的 机 制 是 : 发 现 有 循环 等 待 的 现象 ， 立 即 回 退 (rollback) 开销 更 小 的 导 
务 ， 也 就 是 插入 、 修 改 、 删 除了 更 少 记录 的 事务 。 


对 于 MySQL 死 锁 的 解决 ， 通 常 有 如 下 方法 。 

“ 经 常 提交 你 的 事务 。 小 事务 更 少 地 倾向 于 冲突 。 

“以 固定 的 顺序 访问 你 的 表 和 行 。 这 样 事务 就 会 形成 定义 良好 的 查询 并 且 没 有 死 锁 。 

“ 将 精心 选 定 的 索引 添加 到 你 的 表 中 。 这 样 你 的 查询 就 只 需要 扫描 更 少 的 索引 记录 ， 并 且 因 此 也 可 以 设置 更 少 的 锁定 。 
“ 不 要 把 无 关 的 操作 放 到 事务 里 面 。 


' 在 并 发 比较 高 的 系统 中 ， 不 要 显 式 加 锁 ， 特 别 是 在 事务 里 显 式 加 锁 。 如 SELECT.…FOR UPDATE 语 句 ， 如 果 是 在 事务 里 (运行 了 START TRANSACTION 或 设置 了 autocommit 等 于 0) ， 那 么 就 会 锁定 所 
查找 到 的 记录 。 


“ 尽量 按照 主键 /索引 去 查找 记录 ， 范 围 查找 增加 了 锁 冲突 的 可 能 性 ， 也 不 要 利用 数据 库 做 一 些 额 外 的 计算 工作 。 比 如 有 些 读者 会 用 到 “SELECT'…WHERE…ORDER BY RAND0;” 这 样 的 语句 ， 由 于 
类 似 这 样 的 语句 用 不 到 索引 ， 因 此 将 导致 整个 表 的 数据 都 被 锁 住 。 


“ 优化 SQL 和 表 设 计 ， 减 少 同时 占用 太 多 资源 的 情况 。 比 如 说 ， 减 少 连 接 的 表 ， 将 复杂 SQL 分 解 为 多 个 简单 的 SQL。 


4.9 其 他 特性 


4.9.1 临时 表 


临时 表 指 的 是 CREATE TEMPORARY TABLE 命 令 创建 的 临时 的 表 ， 临 时 表 只 对 当前 连接 可 见 ， 对 其 他 连接 不 可 见 ， 结 束 连 接 或 中 断 ， 数 据 表 (数据 ) 将 丢失 。 也 就 是 说 ， 在 短 连接 的 情况 下 ， 断 开 连 接 
后 ， 这 个 表 就 自动 删除 了 。 如 果 是 长 连接 的 话 ， 则 需要 自己 先 初始 化 下 表 。 


我 们 常 使 用 临时 表 来 存储 一 些 中 间 结 果 集 ， 如 果 需 要 执行 一 个 很 耗资 源 的 查询 或 需要 多 次 操作 大 表 ， 那 么 把 中 间 结 果 或 小 的 子 集 放 到 一 个 临时 表 里 ， 可 能 会 有 助 于 加 速 查询 。 


创建 了 临时 表 之 后 ， 如 果 运 行 SHOW TABLES、SHOW OPEN TABLES、SHOW TABLE STATUS 命令 及 在 INFORMATION_SCHEMA 库 中 都 将 看 不 到 临时 表 ， 这 不 是 Bug， 而 是 设计 就 是 如 此 。 


临时 表 支 持 多 种 存储 引擎 ， 如 HEAP、MylSAM、lInnoDB， 当 设置 ENGINE=HEAP 时 ， 就 会 具有 内 存 表 的 属性 ， 即 表 的 大 小 超过 max_heap_table_size 时 就 会 报错 。 我 们 需要 注意 的 是 ， 在 已 有 的 内 存 
表 上 设置 该 变量 是 没有 效果 的 ， 除 非 用 CREATE TABLE、ALTER TABLE、TRUNCATE TABLE 等 语句 重新 创建 表 。 当 然 ， 重 启 也 是 可 以 生灵 


MySQLI 临 时 表 也 有 一 些 限制 。 比 如 不 能 用 RENAME 来 了 


命名 一 个 临时 表 ， 可 以 F 


考官 方 文档 。 


4.9.2 分 区 表 


分 区 表 是 商业 数据 库 的 一 项 高 级 技术 ，MySQL 从 5.1 版 开始 也 支持 分 
表 。 用 户 所 选择 的 、 实 现 数据 分 割 的 规则 被 称 为 分 


如 下 命令 将 确定 MySQL 是 否 支持 分 区 。 


区 表 技术 允许 按照 设置 的 规则 ， 跨 文件 系统 分 本 


ALTER TABLE 来 代替 。 比 如 ， 在 同一 个 查询 语句 中 ， 你 只 能 查找 一 次 临时 表 。 临 时 表 的 详细 使 


方法 和 相关 限制 请 参 


个 表 的 多 个 部 分 。 实 际 上 ， 表 的 不 同 部 分 在 不 同 的 位 置 被 存储 为 
区 函数 ， 在 MySQL 中 它 可 以 是 模 数 ， 或 者 是 简单 地 匹配 一 个 连续 的 数值 区 间或 数值 列表 ， 或 者 是 一 个 内 部 HASH 函 数 ， 或 者 是 一 个 线性 HASH 函 数 。 


以 笔者 使 用 分 区 表 的 经 验 来 看 ， 分 区 表 一 直 不 太 成 熟 ， 据 说 在 MySQL 5.6 以 后 才 趋向 成 熟 稳定 ， 所 以 ， 不 要 轻易 将 分 区 表 应 用 了 


mysql> SHOW VARIABLES LIKE '%partition%®'; 


Variable name | Value | 
| have partition engine | YES | 


可 使 用 EXPLAIN 命 令 查看 是 否 过 滤 掉 了 不 需 


MySQL 5.1 有 如 下 的 一 些 分 区 类 型 ，RANGE 分 区 、LIST 分 


区 ,如 “mysql>EXPLAIN 


PARTITIONS SELECT*FROM trb1\G” 。 


区 、HASH 分 区 、KEY 分 


区 和 子 分 区 。 常 用 的 存储 引擎 ， 如 InnoDB、MylSAM、MEMORY 都 支持 分 区 表 。 


RANGE 分 区 的 表 是 通过 如 下 这 种 方式 进行 分 


区 的 ， 基 于 一 个 连续 


MySQL 中 的 LIST 分 区 在 很 多 方面 都 类 似 于 RANGE 分 


RANGE 分 区 是 从 属于 一 个 连续 区 间 值 的 集合 的 。 


区 。 和 按照 RANGE 进行 分 区 的 方式 一 样 ， 每 个 分 区 都 必须 明确 定义 。 


HASH 分 区 是 基于 用 户 定义 的 表达 式 的 返回 值 选 择 分 


要 用 来 确保 数据 在 预先 确定 了 数目 的 分 


存在 哪个 分 区 中 ; 而 在 HASH 分 区 中 ，MySQL 将 


自动 完成 这 些 工作 ， 你 所 要 做 的 


按照 KEY 进 行 分 区 类 似 于 按照 HASH 进 行 分 区 ， 除 了 HASH 分 


子 分 区 是 分 区 表 中 每 个 分 区 的 再 次 分 割 。 


以 下 是 一 些 MySQL 5.1 分 区 表 的 操作 示例 。 


创建 一 个 RANGE 分 区 表 ， 语 句 如 下 。 


区 使 用 的 是 用 户 自 定义 的 表达 式 ， 而 KEY 分 


区 间 的 列 值 ， 把 多 行 分 配给 分 区 ， 例 如 某 个 时 间 段 的 值 属于 某 个 分 


区 


只 是 为 将 要 被 散 列 的 列 值 指定 一 个 列 值 或 表达 式 ， 以 及 指定 被 分 


CREATE TABLE trb3 (id INT, name VARCHAR(50), purchased DATE) 
PARTITION BY RANGE ( YEAR(purchased) 
PARTITION pO VALUES LESS THAN 

PARTITION pl VALUES LESS THAN 

PARTITION p2 VALUES LESS THAN 

PARTITION p3 VALUES LESS THAN 


RANGE 分 区 和 LIST 分 区 的 操作 示例 如 下 。 


(1) 删除 分 区 (需要 DROP 权 限 ) 


ALTER TABLE tr DROP PARTITION p2; 


如 果 需 要 调整 分 区 ， 但 不 想 丢失 数据 ， 那 么 可 以 时 


ALTER TABLE http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... 


(2) 增加 分 区 


网 


对 于 RANGE 分 区 ， 只 能 从 分 区 列表 的 最 高 端 


例如 ， 对 于 如 下 的 表 使 用 ALTER TABLE...ADD PARTITION 命 令 添加 分 区 。 


CREATE TABLE members ( 
id INT, 
fname VARCHAR(25), 
lname VARCHAR(25), 
dob DATE 


) 
PARTITION BY RANGE( YEAR(dob) ) ( 


PARTITION pO VALUES LESS THAN (1970) 
PARTITION pl VALUES LESS THAN (1980) 
PARTITION p2 VALUES LESS THAN (1990) 


i 
# 增 加 一 个 分 区 。 


ALTER TABLE members ADD PARTITION (PARTITION p3 VALUES LESS THAN (2000) ) 


如 果 要 加 入 1960 分 区 则 会 报错 。 


mysql> ALTER TABLE members 
ADD PARTITION ( 


PARTITION n VALUES LESS THAN (1960)); 


可 以 增加 多 个 分 区 ,例如 : 


CREATE TABLE employees ( 
id INT NOT NULL, 
fname VARCHAR(50) NOT NULL, 
lname VARCHAR(50) NOT NULL, 
hired DATE NOT NULL 


区 的 定义 和 选择 是 基于 值 列表 的 ， 而 


它们 的 主要 区 别 在 3 


区 中 ， 必 须 明 确 指定 一 个 给 定 的 列 值 或 列 值 集合 应 该 保 
区 的 表 将 要 被 分 割 成 的 分 


区 中 是 平均 分 布 的 。 在 RANGE 分 区 和 LIST 分 | 


区 的 散 列 函数 是 由 MySQL 服 务 器 提供 的 。 


REORGANIZE PARTITION; 


) 
PARTITION BY RANGE ( YEAR(hired) ) 


PARTITION pl 
PARTITION p2 
PARTITION p3 
PARTITION p4 


( 
VALUES LESS THAN ( )， 
VALUES LESS THAN (1996), 
VALUES LESS THAN ( )， 
VALUES LESS THAN ( ) 


); 

ALTER TABLE employees ADD PARTITION ( 
PARTITION p5 VALUES LESS THAN (2010), 
PARTITION P6 VALUES LESS THAN MAXVALUE 


); 


(3) 调整 分 


内 


如 果 想 要 调整 分 区 


， 比 如 在 分 区 列表 中 加 入 一 个 分 区 ， 或 者 忘记 增加 分 区 了 ， 所 有 的 数据 都 落 入 了 最 后 一 个 分 区 ， 这 时 想 重 新 定义 最 后 的 分 区 ， 那 么 你 可 以 使 用 重 整 分 区 的 功能 。 


ALTER TABLE members 
REORGANIZE PARTITION P0 INTO ( 
PARTITION n0 VALUES LESS THAN (1960), 
PARTITION nl VALUES LESS THAN (1970) 


(4) 合并 分 


内 


还 可 以 合并 分 区 ， 


注意 ， 对 于 RANGE 分 区 ， 合 并 的 分 区 必须 是 相 邻 的 分 


风 


ALTER TABLE members REORGANIZE PARTITION s0,sl INTO ( 
PARTITION P0 VALUES LESS THAN (1970) 


); 


ALTER TABLE members REORGANIZE PARTITION p0,pl,p2,p3 INTO ( 
PARTITION m0 VALUES LESS THAN (1980), 
PARTITION ml VALUES LESS THAN (2000) 


); 


对 于 LIST 分 区 ， 如 果 新 加 分 区 中 的 元 素 和 旧 的 分 区 有 冲突 ， 那 么 可 以 先 添加 分 区 (只 有 没有 冲突 的 元 素 ) ， 然 后 重 整 分 区 。 


ALTER TABLE tt ADD PARTITION (PARTITION np VALUES IN (4, 8)); 
ALTER TABLE tt REORGANIZE PARTITION pl,np INTO ( 

PARTITION pl VALUES IN (6, 18), 

PARTITION np VALUES in (4, 8, 12) 


jk 


(5) 重建 分 区 (rebuilding partition) 


相当 于 删除 所 有 的 


数据 ， 再 INSERT 所 有 的 数据 ， 整 理 碎片 可 用 ， 语 句 如 下 。 


ALTER TABLE t1 REBUILD PARTITION P0，P17 


(6) 优化 分 区 (optimizing partition) 


如 果 某 个 分 区 中 删 


除了 大 量 数据 ， 或 者 频繁 修改 了 表 (有 可 变 字段 ) ， 那 么 可 以 考虑 优化 该 分 区 ， 语 名 如 下 。 


ALTER TABLE t1 OPTIMIZE PARTITION P0，P1” 


(7) 分 析 分 区 (analyzing partition) 


如 下 这 个 命令 将 分 


析 分 区 的 key 分 布 信息 。 


ALTER TABLE t1 ANALYZE PARTITION p3; 


(8) 检查 分 区 (c 


hecking partition) 


丛 查 表 ， 如 果 坏 了 


， 则 用 REPAIR 命 令 修复 ， 语 句 如 下 。 


ALTER TABLE trb3 


CHECK PARTITION P17 


(9) 修复 分 区 (repairing partition) 


修复 分 区 的 语句 如 


下 。 


ALTER TABLE tl1 REPAIR PARTITION P0,P17 


如 果 需 要 对 所 有 分 


区 进行 操作 ， 那 么 可 加 入 All 关 键 字 ， 语 句 如 下 。 


mysql> ALTER TABLE hotspace 0 ANALYZE PARTITION ALL; 


MySQL 5.1 RANGE 分 区 有 如 下 一 些 注意 事项 。 


:同一 个 分 区 表 中 


的 所 有 分 区 必须 使 用 同一 个 存储 引擎 ， 并 且 存 储 引擎 要 和 主 表 的 存储 引擎 保持 一 致 


" 有 MAXVALUE 值 之 后 ， 直 接 加 分 区 是 不 可 行 的 。 


“RANGE 的 分 区 方式 在 加 分 区 的 时 候 ， 只 能 从 最 大 值 的 后 面 添加 ， 而 在 最 大 值 的 前 面 不 可 以 添加 。 


“ 分 区 健 必 须 包 含 


在 主键 里 面 。 


如 上 列 了 一 些 常 


的 分 区 表 操作 ， 主 要 是 基于 MySQL 5.1 的 版 本 ，MySQL 分 区 表 的 技术 在 不 断 发 生 改变 ， 而 且 不 同 版 本 的 变化 也 比较 大 ， 一 些 限制 和 弱点 不 断 地 在 新 的 版 本 中 取消 或 完善 ， 如 果 大 家 要 


分 区 表 ， 建 议 参考 


分 区 包括 如 下 一 些 


官方 文档 ， 采 用 合适 的 方法 。 


优点 。 


:与 单个 磁 瘟 或 文件 系统 分 区 相 比 ， 可 以 存储 更 多 的 数据 。 表 分 区 物理 上 被 存储 为 单独 的 表 ， 所 以 可 以 把 分 区 存储 到 不 同 的 磁盘 或 文件 系统 中 。 在 现实 生产 环境 中 ， 这 样 使 用 还 是 比较 少见 的 。 选 择 分 
区 表 更 常见 的 是 基于 业务 的 需要 ， 是 否 能 够 更 高 效 地 查询 数据 和 维护 数据 。 


“ 对 于 那些 已 经 失去 了 保存 意义 的 数据 ， 通 常 可 以 通过 删除 与 那些 数据 有 关 的 分 区 ， 很 容易 地 删除 掉 那 些 数据 。 
“ 一 些 查询 可 以 得 到 极 大 的 优化 ， 这 主要 是 借助 于 满足 一 个 给 定 WHERE 语 句 的 数据 可 以 只 保存 在 一 个 或 多 个 分 区 内 ， 这 样 在 查找 时 就 不 用 再 查找 剩余 的 其 他 分 区 了 。 
分 区 表 也 有 如 下 一 些 不 足 之 处 。 


MySQL 的 分 区 表 不 像 Oracle 那 么 灵活 和 成 熟 可 靠 ， 也 不 像 Oracle 那 样 可 以 有 全 局 的 索引 ，MySQL 的 索引 对 于 每 个 表 来 说 都 是 单独 的 。 这 样 如 果 有 跨越 多 个 分 区 的 查找 ， 那 么 效率 可 能 就 会 有 问题 。 


一 般 来 说 ， 系 统 设计 人 员 在 碰 到 一 些 有 “分 区 ”特征 的 数据 时 ， 可 能 就 会 倾向 于 分 区 ， 比 如 一 些 按时 间 记 录 的 流水 账 ， 这 种 想法 本 身 并 没有 错 ， 但 是 需要 明白 的 是 ， 分 区 表 不 能 跨越 MySQL 的 实例 ， 也 
就 是 说 不 能 超过 单机 ， 扩 展 性 仍然 有 限 ， 而 且 由 于 分 区 表 的 不 成 熟 ， 可 能 会 给 整个 系统 带 来 隐患 。 这 里 有 一 些 通 用 的 建议 。 


1) 只 有 大 表 才 可 能 需要 分 区 ， 几 百 万 笔记 录 的 表 并 不 算 大 ， 对 于 一 些 高 配置 的 数据 库 主 机 ， 几 和 干 万 甚至 上 亿 条 数据 的 表 也 不 算 大 。 


2) 分 区 数 不 能 过 多 ， 很 难 想象 大 于 500 的 分 区 数 。 


3) 查询 的 时 候 ， 不 要 跨越 多 个 分 区 ， 建 议 最 多 跨越 1~2 个 分 


风 


4) 索引 的 列 应 该 是 分 区 的 列 ， 或 者 有 其 他 条 件 限制 的 分 区 ， 否 则 访问 所 有 分 区 上 面 的 索引 进行 查找 ， 开 销 会 比较 大 。 


笔者 个 人 不 推荐 在 生产 环境 中 使 用 分 区 表 ， 基 于 的 理由 如 下 。 


1) 就 目前 的 生产 环境 来 说 ， 分 区 表 还 只 是 一 项 不 是 很 成 熟 的 技术 : 据 官 方 发 布 的 Bug 升 级 记录 可 知 ，5.1、5.5 长 期 以 来 修复 了 很 多 Bug。 虽 然 Oracle 公 司 也 在 不 断 完善 分 区 表 ， 官 方 宣称 在 MySQL 5.6 
已 经 成 熟 了 很 多 ， 但 如 果 要 使 用 分 区 表 ， 仍 然 建议 事先 经 过 充分 的 测试 和 验证 。 


2) 目前 已 知 的 官方 5.1 版 本 的 内 存 分 配 机 制 有 一 定 的 问题 ， 有 内 存 碎 片 ， 笔 者 曾经 发 现在 生产 环境 里 使 用 了 分 区 表 的 实例 ， 内 存 会 不 断 上 升 。 


3) MySQL 分 区 表 的 管理 性 、 可 维护 性 还 存在 一 些 问题 。 如 果 数 据 不 能 单独 分 布 在 一 两 个 有 限 的 分 区 内 ， 那 么 查询 性 能 往往 会 更 差 。 因 为 扫描 多 个 分 区 将 比 扫描 原来 的 一 张 表 慢 得 多 。 


4) 使 用 分 区 表 往 往 需要 更 多 的 技术 考虑 ， 需 要 更 多 的 经 验 ， 且 不 一 定 适合 未 来 的 业务 需求 。 


5) 一 般 从 应 用 层 分 表 是 很 成 熟 的 技术 ， 各 种 大 型 项 目 中 更 多 的 是 从 应 用 层 分 片 数据 。 


4.9.3 ”存储 过 程 、 触 发 器 、 外 键 


1. 存 储 过 程 /函数 


MySQL 在 MySQL 5.0 版 之 后 支持 存储 过 程 。 


存储 程序 和 函数 是 用 CREATE PROCEDURE 和 CREATE FUNCTION 语 句 创建 的 子 程序 。 


(1) 存储 过 程 的 使 


由 于 存储 过 程 包含 多 个 语句 ， 因 此 需要 在 MySQL 客 户 端 使 用 另外 的 分 隔 符 ， 语 句 如 下 。 


DELIMITER // 
DELIMITER $$ 
CREATE PROCEDURE pl () SELECT * FROM t; // 


声明 的 变量 ， 如 果 没有 DEFAULT 子 句 ， 那 么 变量 的 值 默认 为 NULL， 如 下 例 中 a 变 量 的 默认 值 即 为 NULL。 


CREATE PROCEDURE p10 () 

BEGIN 

DECLARE a, b INT DEFAULT 5; 

INSERT INTO t VALUES (a); 

SELECT sl * a FROM t WHERE sl >= b; 
END; // 


作用 域 BEGIN...END 之 内 的 声明 离开 作用 域 就 失效 了 ， 例 如 如 下 的 语句 。 


mysql> DELIMITER // 
mysql> 
CREATE PROCEDURE pl11 () 
BEGIN 
DECLARE xl CHAR (5) DEFAULT 'outer'; 
BEGIN 
DECLARE xl CHAR (5) DEFAULT 'inner'; 
SELECT xl17 
END; 
SELECT xl; 
END; // 
mysql> DELIMITER ; 
mysql> call p11(); 


显示 的 值 将 是 outer。 


存储 过 程 的 name 不 区 分 大 小 写 ， 可 以 使 用 databasea_name.procedure_name 来 调 


存储 过 程 支 持 常见 的 控制 体 结构 ， 比 如 IF 语句 、WHEN 条 件 分 支 语 句 、WHILE.…DO 循 环 语句 。 


IF 语句 的 示例 如 下 。 


CREATE PROCEDURE P12 (IN parameterl INT) 
BEGIN 

DECLARE variablel INT; 

SET variablel = parameterl + 1; 

IF variablel = 0 THEN 

INSERT INTO t VALUES (17); 

END IF; 


IF Parameterl = 0 THEN 
UPDATE 七 SET sl = sl +1; 
ELSE 

UPDATE 七 SET sl = sl + 2; 
END IF; 

END; // 


CASE...WHEN 语 句 的 示例 如 下 ， 满 足 条 件 值 后 执行 相应 的 分 支 语 句 。 


CREATE PROCEDURE pl3 (IN parameterl INT) 
BEGIN 

DECLARE variablel INT; 

SET variablel = parameterl + 1; 

CASE variablel 

WHEN 0 THEN INSERT INTO t VALUES (17); 
WHEN 1 THEN INSERT INTO t VALUES (18); 
ELSE INSERT INTO t VALUES (19); 

END CASE; 

END; // 


WHILE...DO 语 句 的 示例 如 下 ， 满 足 条 件 后 执行 相应 的 循环 体 。 


CREATE PROCEDURE pl4 () 


BEGIN 
DECLARE V INT; 
SET v= 0; 


WHILE v < 5 DO 

INSERT INTO t VALUES (v); 
SET v=V+1; 

END WHILE; 

END; // 


REPEAT...UNTIL 语 句 的 示例 如 下 ， 首 先 执行 循环 体 ， 再 判断 条 件 ， 即 至 少 执行 相应 的 一 次 。 


CREATE PROCEDURE p15 () 

BEGIN 

DECLARE v INT; 

SETV= 0; 

REPEAT 

INSERT INTO t VALUES (v); 
SETvV=V+1; 

UNTIL v >= 5 # 注 意 后 面 没 有 分 号 。 
END REPEAT; 

END; // 


此 外 ， 还 支持 标号 ， 示 例如 下 。 


CREATE PROCEDURE p16 () 


BEGIN 
DECLARE v INT; 
SETVv= 0; 


loop label: LOOP 
INSERT INTO t VALUES (v); 
SET Y=V+1; 
IE V >= 5 THEN 

LEAVE loop label; 

END IF; 

END LOOP; 

END; // 


以 下 是 综合 上 述 控制 体 的 一 个 示例 。 


CREATE PROCEDURE p21 
(IN parameter 1 INT, OUT parameter 2 INT) 
LANGUAGE SQL DETERMINISTIC SQL SECURITY INVOKER 
BEGIN 
DECLARE V INT; 
start label: LOOP 
IE V = V THEN LEAVE start label; 
ELSE ITERATE start label; 


END IF; 

END LOOP start label; 

REPEAT 
WHILE 1 = 0 DO BEGIN END; 
END WHILE; 

UNTIL Vv = V END REPEAT; 


END;// 


SQL SECURITY 特 征 可 以 用 来 指定 子 程序 是 用 创建 子 程序 者 的 许可 权限 来 执行 ， 还 是 使 用 调用 者 的 许可 权限 来 执行 。 默 认 值 是 DEFINER。 
“SQL SECURITY DEFINER: 按 创建 存储 过 程 的 用 户 的 许可 权限 来 执行 。 
SQL SECURITY INVOKE: 按 调用 者 的 许可 权限 来 执行 。 

不 能 在 存储 过 程 中 再 执行 一 些 更 改 存储 过 程 的 操作 ， 比 如 CREATE PROCEDURE、ALTER PROCEDURE 等 。 


如 下 是 一 个 创建 存储 过 程 的 例子 。 


mysql> delimiter // 

mysql> CREATE PROCEDURE simpleproc (OUT Paraml INT) 
BEGIN 

SELECT COUNT (*) INTO paraml FROM t; 

END 
J 

mysql> delimiter ; 

mysql> CALL simpleproc (@a); 

Query OK, 0 rows affected (0.00 sec) 


mysql> SELECT Qa; 
+------ 十 
| ea | 
+------ 十 
| 3 | 
+------ 十 


1 row in set (0.00 sec) 


再 来 看 下 面 这 个 例子 。 
CREATE PROCEDURE procedurel /* name */ 
(IN Parameter1l INTEGER) /* parameters */ 


BEGIN /* start of block */ 


DECLARE variablel CHAR(10) /* variables */ 


IF parameterl = 17 THEN J bet Gf TF 二 
SET variablel = 'birds'; /* assignment */ 
ELSE 

SET variablel = 'beasts'; /* assignment */ 
END IF; /* end of IF */ 
INSERT INTO tablel VALUES (variablel); /* statement */ 
END /* end of block */ 


存储 过 程 的 实际 定义 是 存放 在 系统 表 mysql.proc 中 的 ， 所 以 查看 或 备份 存储 过 程 也 可 以 针对 这 个 表 来 进行 。 


创建 存储 过 程 的 时 候 可 以 保存 sql_mode。 如 下 示例 将 演示 ansi 模 式 。 


mysql> set sql mode='ansi'; 
Query OK, 0 rows affected (0.00 sec) 


mysql> select 'a'||'b'; 

4 中 

| "ai | 在 ansi 模 式 下 才 可 行 。 
二 -一 一 一 一 一 一 一 一 十 

| ab | 

+----------- 十 


1 row in set (0.00 sec) 
mysql> set sql_mode=' 
Query OK，0 rows affected (0.00 sec) 


mysql> select 'a'||'b'; 
二 -一 一 一 一 一 十 

| arllrb' | 

二 -一 -一 -一 一 一 一 一 一 十 

| 0 1 

二 -一 -一 一 一 -一 十 


1 row in set, 2 warnings (0.00 sec) 


mysql> show warnings; 

+------------- + 一- 一- 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Level | Code | Message 

+------------- +- 一 -一 -一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


| Warning | 1292 | Truncated incorrect DOUBLE value: 'a' | 
| Warning | 1292 | Truncated incorrect DOUBLE value: 'b' | 
+------------- 二 -一 -一 -一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
2 rows in set (0.00 sec) 


ansi 模 式 包含 一 些 组 合 ， 比 如 REAL AS FLOAT、PIPES AS CONCAT、ANSI_QUOTES、IGNORE_SPACE、ANSI 等 。 


下 面 将 实际 创建 一 个 存储 过 程 ， 并 查看 是 否 保 存 了 sql_mode， 命 令 如 下 。 


mysql> set sql mode='ansi' // 

mysql> create procedure p3()select'a'||'b'// 
mysql> set sql mode=''// 

mysql> call p31)// 


可 以 看 到 ， 在 创建 存储 过 程 的 时 候 ， 存 储 过 程 定义 中 保存 了 sql_mode 的 。 所 以 虽然 后 来 又 设置 了 sql_mode， 但 是 存储 过 程 不 会 受到 影响 。 我 们 可 以 运行 命令 SHOW CREATE PROCEDURE 
procedure_name 来 查看 创建 存储 过 程 的 代码 ， 里 面 有 sql_mode 的 信息 。 


以 上 对 于 存储 过 程 的 介绍 比较 粗略 ， 由 于 篇 幅 所 限 ， 且 MySQL 存 储 过 程 并 非 必须 要 掌握 的 知识 ， 因 此 这 里 仅 列举 一 些 代码 ， 未 做 详细 说 明 ， 大 家 如 果 有 兴趣 深入 学 习 和 编写 存储 过 程 ， 请 参考 官方 文 
档 。 


(2) 对 于 复制 的 影响 


CREATE PROCEDURE、CREATE FUNCTION、ALTER PROCEDURE 和 ALTER FUNCTION 语 句 都 将 被 写 进 二 进 制 日 志 ，CALL、DROP PROCEDURE 和 DROP FUNCTION 也 一 样 。 


存储 子 程序 (存储 过 程 /函数 ) 在 复制 中 引发 了 很 多 问题 ， 如 果 应 用 了 存储 过 程 ， 则 复制 可 能 就 是 不 可 靠 的 了 。 笔 者 认为 主要 原因 在 于 它 不 是 核心 的 功能 但 又 足够 复杂 。 对 于 一 项 大 多 数 人 都 不 使 用 的 特 
性 ， 如 果 你 要 使 用 ， 那 么 使 用 的 时 候 一 定 要 慎重 。 


(3) DETERMINISTIC 定 义 


生产 中 ， 如 果 要 创建 存储 过 程 /函数 ， 往 往 需要 添加 DETERMINISTIC 定 义 ， 否 则 可 能 会 报错 ， 我 们 需要 在 BEGIN 关 键 字 之 前 添加 DETERMINISTIC， 例 如 如 下 语句 。 


CREATE PROCEDURE procedurel /* name */ 

(IN Parameter1 INTEGER) /* parameters */ 
DETERMINISTIC 

BEGIN 


如 果 程 序 或 线程 总 是 对 同样 的 输入 参数 产生 同样 的 结果 ， 则 可 认为 它 是 “确定 的 ”， 否 则 就 是 “ 非 确定 ”的 。 如 果 既 没有 给 定 DETERMINISTIC 也 没有 给 定 NOT DETERMINISTIC， 默 认 的 就 是 NOT 
DETERMINISTIC。 


加 上 DETERMINISTIC 关 键 字 的 目的 是 ， 确 保 我 们 的 存储 过 程 /函数 不 会 导致 复制 不 可 靠 。 如 果 一 个 存储 函数 在 一 个 诸如 SELECT 这 样 不 修改 数据 的 语句 内 被 调用 ， 即 使 函数 本 身 更 改 了 数据 ， 函 数 的 执行 
也 不 会 被 写 进 二 进 制 日 志 里 。 这 个 记录 日 志 的 行为 会 潜在 地 导致 问题 。 


假设 函数 myfunc() 定 义 如 下 。 


CREATE FUNCTION myfunc () RETURNS INT 
BEGIN 

INSERT INTO t (i) VALUES (1) 7 

RETURN 0; 


按照 上 面 的 定义 ， 下 面 的 语句 将 修改 表 t， 因 为 myfunc() 修 改 表 t， 但 是 语句 不 会 被 写 进 二 进 制 日 志 ， 因 为 它 是 一 个 SELECT 语句 。 


SELECT myfunc () 7 


默认 地 ， 要 想 让 一 个 CREATE PROCEDURE 或 CREATE FUNCTION 语 句 被 接受 ， 那 么 必须 明白 地 指定 DETERMINISTIC、NO SQL 或 READS SQL DATA 三 者 中 的 一 个 ， 否 则 会 产生 错误 。 


" DETERMINISTIC: 确定 的 。 


“ NO SQL: 没有 SQI 语 句 ， 当 然 也 不 会 修改 数据 。 


` READS SQL DATA: 只 是 读 取 数 据 ， 当 然 也 不 会 修改 数据 。 


注意 ， 子 程序 本 身 的 评估 是 基于 创建 者 的 “诚实 度 ” 的 ，MySQL 不 会 检查 被 声明 为 确定 性 的 子 程序 是 否 不 包含 产生 非 确定 性 结果 的 语句 。 


我 们 也 可 以 设置 全 局 变量 “SET GLOBAL log_bin_trust_routine_creators=1;”， 这 样 就 可 以 不 用 添加 DETERMINISTIC 关 键 字 了 。 官 方 文档 的 解释 是 : 若 启用 了 二 进 制 记录 ， 则 该 变量 适用 。 它 控制 是 
否 可 以 信任 程序 的 作者 不 会 创建 向 二 进 制 日 志 写 入 不 安全 事件 的 程序 。 如 果 设 置 为 0 (默认 情况 下 ) ， 则 不 允许 用 户 创建 或 修改 保存 的 程序 ， 除 非 他 们 不 仅 拥有 CREATE ROUTINE 或 ALTER ROUTINE 的 权 
限 还 拥有 SUPER 的 权限 。 设 置 为 0 还 强制 限制 程序 必须 用 DETERMINISTIC、READS SQL DATA 或 NO SQL 三 者 中 的 一 个 进行 声明 。 如 果 将 变量 设置 为 1， 那 么 MySQL 不 会 对 保存 程序 的 创建 强加 限制 。 


(4) 游标 功能 


存储 过 程 和 函数 内 均 支持 游标 (cursor) ， 其 语法 格式 如 下 。 


DECLARE cursor-name CURSOR FOR SELECT http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/...; 
OPEN cursor-name; 

FETCH cursor-name INTO variable [, variable]; 

CLOSE cursor-name; 


示例 如 下 。 


CREATE PROCEDURE curdemo () 
BEGIN 
DECLARE done INT DEFAULT 0; 
DECLARE a CHAR(16); 
DECLARE b,c INT; 
DECLARE curl CURSOR FOR SELECT id,data FROM test.tl1; 
DECLARE cur2 CURSOR FOR SELECT i FROM test.t2; 
DECLARE CONTINUE HANDLER FOR SQLSTATE '02000' SET done = 1; 
OPEN curl; 
OPEN cur2; 
REPEAT 
FETCH curl INTO a, b; 
FETCH cur2 INTO c; 
IF NOT done THEN 
IE b < c THEN 
INSERT INTO test.t3 VALUES (a,b); 
ELSE 
INSERT INTO test.t3 VALUES (a,c); 
END IF; 
END IF; 
UNTIL done END REPEAT; 
CLOSE curl; 
CLOSE cur2; 
END 


(5) 错误 异常 处 理 


语法 格式 如 下 。 


DECLARE 

{ EXIT | CONTINUE } 

HANDLER FOR 

{ error-number | { SQLSTATE error-string } | condition } 
SQL statement 


这 个 语句 指定 了 每 个 可 以 处 理 一 个 或 多 个 条 件 的 处 理 程序 。 如 果 产 生 一 个 或 多 个 条 件 ， 则 指定 的 语句 将 被 执行 。 对 于 一 个 CONTINUE 处 理 程序 ， 当 前 子 程序 的 执行 将 在 执行 处 理 程序 的 语句 之 后 继续 。 
对 于 EXIT 处 理 程序 ， 当 前 的 BEGIN.…END 复 合 语句 的 执行 将 被 终止。 


下 面 给 出 了 一 个 示例 。 


mysql> CREATE TABLE test.t (sl int,primary key (sl1)); 
Query OK, 0 rows affected (0.00 sec) 
mysql> delimiter // 
mysql> CREATE PROCEDURE handlerdemo () 
-> BEGIN 
= DECLARE CONTINUE HANDLER FOR SQLSTATE '23000' SET @x2 = 1; 
-> SET @x = 1; 
~ INSERT INTO test.t VALUES (1); 
"~ SE Ox =27 
= INSERT INTO test.t VALUES (1); 
-> SET @x = 3; 
-> END; 
> AN 
Query OK, 0 rows affected (0.00 sec) 
mysql> CALL handlerdemo () // 
Query OK, 0 rows affected (0.00 sec) 
mysql> SELECT @x// 
+ 


1 row in set (0.00 sec) 


其 中 ，SQLSTATE'23000' 是 重复 键 的 错误 消息 。 


可 以 注意 到 ，@x 是 3， 这 表明 了 MySQL 被 执行 到 了 程序 的 未 尾 。 如 果 “DECLARE CONTINUE HANDLER FOR SQLSTATE'23000'SET@x2=1;” 这 一 行 不 存在 ， 那 么 第 二 个 INSERT 因 PRIMARY KEY 
强制 而 失败 之 后 ，MySQL 会 采取 默认 (EXIT) 路 径 ， 并 且 SELECT@x 会 返回 2。 


异常 处 理 中 需要 注意 的 是 ， 不 一 定 是 当前 的 语句 /游标 会 触发 错误 ,程序 体 的 其 他 部 分 也 可 能 触发 异常 处 理 ， 使 程序 以 一 种 我 们 不 期 望 的 方式 来 运行 。 例 如 对 于 
SQLSTATE:02000(ER_SP_FETCH_NO_DATA) 找 不 到 数据 。 我 们 知道 对 于 “SELECT...FROM table_name WHERE...” 语 句 ， 可 能 会 触发 这 个 条 件 ， 但 是 如 果 SELECT...INTO 语 句 查找 不 到 记录 ， 其 实 也 会 触 
发 SQLSTATE:02000。 


2. 触 发 器 


对 触发 器 的 支持 ， 使 得 InnoDB 也 具有 了 商业 数据 库 的 功能 。 但 就 笔者 个 人 的 使 用 经 验 而 言 ，InnoDB 触 发 器 离 传统 商业 数据 库 的 成 熟 度 还 比较 遥远 。 


下 面 给 出 了 一 个 简单 的 示例 ， 在 该 示例 中 ， 针 对 INSERT 语 句 ， 将 触发 程序 和 表 关联 了 起 来 。 其 作用 相当 于 累加 器 ， 能 够 将 插入 表 中 某 一 列 的 值 票 加 起 来 。 


在 下 面 的 语句 中 ， 创 建 了 一 个 表 ， 并 为 该 表 创 建 了 一 个 触发 程序 。 


mysql> CREATE TABLE account (acct num INT, amount DECIMAL(10,2)); 
mysql> CREATE TRIGGER ins_ sum BEFORE INSERT ON account 
FOR EACH ROW SET @sum = @sum + NEW.amount; 


CREATE TRIGGER 语 句 创建 了 与 账户 表 相 关 的 、 名 为 ins sum 的 触发 程序 。 它 还 包括 一 些 子 句 ， 这 些 子 句 指定 了 触发 程序 激活 的 时 间 、 触 发 程序 事件 ， 以 及 激活 触发 程序 时 要 做 些 什么 ， 关 键 字 


BEFORE 指 明了 触发 程序 的 动作 时 间 。 在 本 例 中 ， 将 在 将 每 一 行 插入 表 之 前 激活 触发 程序 。 如 果 需 要 在 事件 发 生 后 激活 触发 程序 ， 则 需要 指定 关键 字 AFTER。 关 键 字 |INSERT 指 明了 激活 触发 程序 的 事件 。 在 
本 例 中 ，INSERT 语 句 将 导致 触发 程序 的 激活 。 同 样 也 可 以 为 DELETE 和 UPDATE 语 名 创建 触发 程序 。 跟 在 FOR EACH ROW 后 面 的 语句 定义 了 每 次 激活 触发 程序 时 将 要 执行 的 程序 ， 对 于 受 触发 语句 影响 的 每 
一 行 执行 一 次 。 在 本 例 中 ， 触 发 的 语句 是 简单 的 SET 语句 ， 负 责 将 插入 amount 列 的 值 票 加 起 来 。 该 语句 将 列 引 用 为 NEW.amount， 意 思 是 “将 要 插入 到 新 行 的 amount 列 的 值 ”。 要 想 使 用 触发 程序 ， 将 累 


加 器 变量 设置 为 0， 执 行 INSERT 语 句 ， 然 后 查看 变量 的 值 ， 语 句 如 下 。 


mysql> SET @sum = 0; 


mysql> INSERT INTO account VALUES (137,14.98), (141,1937.50), (97,-100.00); 


mysql> SELECT Qsum AS 'Total amount inserted'; 
十 
| Total amount inserted | 


十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| 1852.48 | 


在 本 例 中 ,执行 了 INSERT 语 句 后 ，@sum 的 值 是 14.98+1937.50-100,， 或 185 


要 想 销毁 触发 程序 ， 可 使 用 DROP TRIGGER 语 句 。 


mysql> DROP TRIGGER test.ins sum; 


3. 外 键 


InnoDB 支 持 外 键 约束 。InnoDB 定 义 外 键 约束 的 语法 格式 如 下 所 示 。 


2.48。 


[CONSTRAINT symbol] FOREIGN KEY [id] (index col name, http://www.hzco 
REFERENCES tbl name (index col name, http://www.hzcourse.com/r 
[ON DELETE {RESTRICT | CASCADE | SET NULL | NO ACTION}] 
[ON UPDATE {RESTRICT | CASCADE | SET NULL | NO ACTION}] 


例如 ， 如 下 是 一 个 通过 单列 外 键 联系 起 的 父 表 和 子 表 ， 语 句 如 下 。 


CREATE TABLE parent (id INT NOT NULL, 
PRIMARY KEY (id) 
) TYPE=INNODB; 
CREATE TABLE child(id INT, parent id INT, 
INDEX par ind (parent id)， 
FOREIGN KEY (parent id) REFERENCES P 
ON DELETE CASCADE 
) TYPE=INNODB; 


InnoDB 支 持 使 用 ALTER TABLE 来 移 除外 键 。 


urse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/...) 
esource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...) 


arent (id) 


ALTER TABLE yourtablename DROP FOREIGN KEY fk symbol; 


要 使 得 
导入 失败 。 我 们 也 可 以 手动 设置 这 个 变量 ,语句 如 下 。 


由 


mysql> SET FOREIGN KEY CHECKS = 0; 
mysql> SOURCE dump file name; 
mysql> SET FOREIGN KEY CHECKS = 1; 


新 导入 有 外 键 关 系 的 表 变 得 更 容易 操作 ， 那 么 mysqldump 会 自动 在 dump 输 出 文件 中 包含 一 个 语句 设置 FOREIGN_KEY_CHECKS 为 0。 这 就 避免 了 在 dump 文 件 被 重新 装载 之 时 ， 因 为 约束 而 


InnoDB 不 允许 删除 一 个 被 FOREIGN KEY 表 约束 引用 的 表 ， 除 非 设置 了 SET FOREIGN_KEY_CHECKS=0。 


外 键 约束 使 得 程序 员 更 不 容易 将 不 一 致 性 引入 数据 库 ， 而 且 设 计 合适 的 外 键 也 有 助 于 以 文档 方式 记录 表 间 的 关系 。 但 请 记 住 ， 这 些 好 处 是 以 数据 库 服务 器 为 执行 必要 的 检查 而 花费 额外 的 开销 为 代价 
的 。 服 务 器 进行 额外 的 检查 会 影响 性 能 ， 对 于 某 些 应 用 程序 而 言 ， 该 特性 并 不 受 欢 迎 ， 应 尽量 避免 (出 于 该 原因 ， 在 一 些 主要 的 商业 应 用 程序 中 ， 在 应 用 程序 级 别 上 均 实施 了 外 键 逻 辑 ) 。 


查询 外 键 信息 的 语句 如 下 。 


select CONSTRAINT SCHEMA,CONSTRAINT NAME,TABLE NAMP,COLUMN NAMP,REFERENCED TABLE SCHEMA,REFERENCED TABLE NAME, REFERENCED COLUMN _ NAME 
from information schema.KEY COLUMN USAGE where referenced table schema is not null ; 


使 用 外 键 应 注意 如 下 一 些 要 点 。 


“ 不 存在 服务 器 端 外 键 关联 检查 时 ， 应 用 程序 本 身 必须 处 理 这 类 关联 事宜 。 


“ 从 具有 外 键 的 表 中 删除 记录 时 ， 在 缺少 ON DELETE 的 情况 下 ， 一 种 解决 方式 是 为 应 用 程序 增加 恰当 的 DELETE 语 句 。 实 际 上 ， 它 与 使 用 外 键 同 样 快 ， 而 且 移 植 性 更 好 。 


4 建议 


传统 的 观点 认为 ， 如 果 有 一 个 重复 执行 的 任务 ， 而 且 这 个 任务 需要 检查 、 循 环 重复 执行 多 条 语句 ， 但 实际 上 不 需要 交互 ， 那 么 我 们 使 用 存储 过 程 会 更 高 效 ， 这 样 将 不 存在 在 客户 端 和 服务 器 之 间 来 回 地 


传递 信息 。 存 储 过 程 /触发 器 往往 还 是 已 经 编译 好 了 的 ， 所 以 也 会 更 快 。 在 商业 数据 库 实 现 比较 完善 的 存储 过 程 /触发 器 后 ， 存 储 过 程 、 外 键 及 触发 器 这 些 特性 ， 在 传统 行业 也 获得 了 大 量 的 应 用 。 


许多 复杂 的 业务 逻辑 用 存储 过 程 来 实现 ， 还 可 以 保证 安全 、 进 行 权限 控制 、 集 中 控制 业务 逻辑 ， 客 户 端 也 可 以 大 大 简化 。 如 果 业 务 逻 辑 发 生变 更 ， 只 需要 修改 下 存储 过 程 即 可 ， 而 不 需要 繁琐 地 升级 大 
量 的 客户 端 ， 而 且 数 据 库 服务 器 往往 更 强劲 ， 执 行 得 也 更 快 更 有 效率 ， 网 络 通信 来 回 往返 传输 的 开销 也 可 以 节省 。 所 以 ， 当 数据 量 还 没有 大 到 RDBMS 处 理 不 了 的 时 候 ， 可 以 考虑 使 用 存储 过 程 ， 毕 竟 这 是 花 


了 钱 购买 的 ， 充 分 利用 商业 数据 库 的 潜能 往往 可 以 获得 比较 好 的 收益 。 


但 是 ， 即 使 存储 过 程 、 外 键 、 触 发 器 有 这 么 多 的 好 处 ， 在 现实 中 却 也 存在 许多 问题 ， 特 别 是 互联 网 行业 ， 使 用 的 是 开源 免费 的 MySQL 数 据 库 ， 在 当前 海量 数据 的 环境 下 ， 关 系 型 数据 库 本 身 都 需要 
NoSQL 的 补充 ， 存 储 过 程 的 使 用 也 就 受到 了 约束 。 随 着 业务 规模 的 扩大 ， 数 据 库 会 逐渐 成 为 系统 的 瓶颈 ， 而 在 客户 端 和 数据 库 中 间 增 加 应 用 服务 器 (应 用 层 ) 来 实现 业务 逻辑 ， 用 应 用 服务 器 (客户 端 ) 来 


确保 数据 的 完整 性 和 一 致 性 ， 是 伸缩 性 更 好 的 方案 。 


如 今 的 计算 模式 也 已 经 和 以 前 有 了 很 大 的 不 同 ， 特 别 是 在 互联 网 环境 中 ， 相 对 廉价 的 PC 服务 器 集群 的 大 量 应 用 ， 硬 盘 容量 更 大 ， 价 格 更 低 ， 更 倾向 水 平 扩展 ， 而 没有 必要 把 负荷 都 堆积 到 中 心 的 数据 库 


服务 器 之 上 。 所 以 对 于 互联 网 应 用 ， 存 储 过 程 、 外 键 及 触发 器 这 些 特 性 也 已 不 再 凸显 其 重要 性 ， 许 多 项 目 基本 不 用 。 


而 且 对 于 大 多 数 的 程序 员 来 讲 ， 他 们 更 熟悉 语言 框架 ,数据 库 更 多 的 只 是 作为 一 个 存储 数据 的 容器 。 这 也 影响 到 了 存储 过 程 的 使 用 。 就 现状 而 言 ， 存 储 过 程 只 能 存在 于 较 少 的 业务 场景 中 。 


下 面 就 从 不 同 的 角度 来 分 析 下 存储 过 程 /触发 器 。 


(1) 安全 


理论 上 来 说 ， 业 务 逻 辑 和 各 种 约束 越 靠 近 数 据 库 就 会 越 安 全 ， 也 能 最 大 化 地 充分 利 
笠 


果 确 实 有 非常 严 苟 的 数据 一 致 性 的 需求 ， 那 么 可 以 专门 实现 一 个 “数据 访问 


数据 库 。 但 对 于 互联 网 行业 的 应 


他 的 


应 用 都 将 通过 它 来 访问 数据 库 。 


(2) 性 能 和 扩展 性 


对 于 单线 程 而 言 ， 据 官方 资料 表示 ， 存 储 过 程 有 20% 的 性 能 提升 ， 但 应 用 很 少 是 和 
让 位 于 多 线程 并 发 管理 ， 而 且 随 着 连接 数 的 继续 增加 ， 存 储 过 程 的 性 能 可 能 还 会 降低 。 


MySQL 的 触发 器 只 支持 行 级 别 (for each row) 一 种 方式 ， 对 于 大 数据 量 表 的 处 


线程 的 


外 键 对 并 发 性 能 的 影响 比较 大 ， 因 为 每 次 修改 数据 都 需要 去 另外 一 个 表 检 查 数据 ， 需 要 获取 额外 的 锁 (以 确保 如 


来 说 ， 一 般 没有 那么 高 的 数据 安全 性 ， 也 不 需要 很 强 的 数据 完整 性 和 一 致 性 ， 如 


， 随 着 连接 数 的 不 断 增 加 ， 存 储 过 程 对 比 直 接 的 SQL 并 不 见得 有 什么 性 能 上 的 提升 。 此 时 系统 的 性 能 提升 已 经 


里 ， 这 种 方式 将 会 很 低 效 。 触 发 器 没有 WHEN 条 件 ， 不 能 控制 何 时 触发 ， 可 能 会 造成 性 能 瓶颈 ， 无 谓 地 消耗 资源 。 


务 完成 之 前 ， 父 表 的 记录 不 会 被 删除 ) ， 高 并 发 的 环境 下 很 容易 出 现 性 能 问题 。 而 级 联 


更 新 删除 之 类 的 特性 也 比 我 们 正常 执行 批量 更 新 删除 之 类 的 操作 要 慢 得 多 (级 联 删 除 、 更 新 是 one by one 的 ) 。 所 以 更 好 的 办 法 是 在 应 用 层 实现 外 键 约束 。 


在 应 用 层 实现 业务 逻辑 的 网 络 通信 的 成 本 可 能 高 了 点 ， 但 这 只 是 一 个 相对 的 概念 ， 在 距离 很 遥远 的 情况 下 ， 客 
服务 器 一 般 位 于 同一 个 集群 的 内 网 中 ， 网 络 交互 很 快 、 很 稳定 ， 成 本 也 很 低 。 很 多 真正 能 提高 效率 的 终极 办 法 是 使 


那 也 说 明 性 能 要 求 原本 就 不 高 。 


数据 库 实现 存储 过 程 、 触 发 器 和 外 键 ， 很 大 一 个 背景 就 是 数据 库 服务 器 很 强劲 ， 传 统 行业 一 般 是 昂贵 小 型 机 ， 有 非常 强劲 的 处 理 能 力 ， 配 备 的 是 Oracle 等 商业 产品 ， 业 务 需求 相对 稳定 ， 需 要 充分 利 有 


户 端 和 服务 器 端 通信 的 成 本 比较 大 ， 这 个 时 候 存储 过 程 更 显 优势 ， 但 Web 服 务 器 和 数据 库 


数据 库 的 能 力 而 不 仅仅 将 它 当 作 一 个 数据 的 容器 。 而 互联 网 行业 一 般 使 用 的 是 MySQL 数 据 库 ， 相 对 廉价 的 PC， 业 务 增长 的 
系统 的 瓶颈 ,数据库 的 资源 一 般 会 比较 紧张 (服务 器 和 人 ) ， 扩 展 性 不 强 ， 成 本 更 昂贵 ; 而 Web 服 务 器 相对 来 说 更 便宜 ， 更 容易 水 平 扩展 ， 把 业务 逻辑 放 到 Web 服 务 器 上 去 实现 可 以 保证 系统 有 更 好 的 伸缩 


性 。 


(3) 迁移 


缓存 而 不 是 在 数据 库 中 进行 运算 ， 靠 数据 库 预 编译 或 减少 网 络 流量 那 点 优化 就 可 以 了 ， 


不 确定 性 ， 甚 至 是 爆炸 式 的 增长 ， 如 果 数 据 架构 不 足 ， 数 据 库 很 可 能 会 成 为 整个 


如 果 需 要 在 不 同 的 数据 库 产 品 之 间 进 行 迁移 ， 虽 然 有 一 些 文档 和 各 种 各 样 的 迁移 方案 供 我 们 选择 ， 但 存储 过 程 、 触 发 器 的 迁移 却 是 一 个 难题 。 往 往 需要 投入 巨大 的 精力 进行 开发 和 测试 ， 所 以 如 果 有 数 


据 库 解 耦 的 需求 ， 就 不 应 该 使 用 存储 过 程 。 


(4) 升级 、 维 护 、 诊 断 、 调 优 


实际 上 ， 从 设计 的 角度 来 看 ， 逻 辑 封装 很 重要 ， 不 是 存储 过 程 那 一 点 的 封装 ， 而 是 整个 业务 逻辑 的 封装 。 如 果 把 业务 逻辑 分 散在 程序 代码 和 存储 过 程 两 部 分 中 ， 那 么 它 实际 上 是 业务 碎片 化 ， 不 利于 表 


述 业务 逻辑 ， 会 造成 后 期 阅读 和 维护 的 困难 。 


如 果 使 用 存储 过 程 ， 往 往 会 降低 上 线 、 升 级 的 效率 ，DBA 和 研发 需要 高 度 协 调 。 以 前 一 般 是 分 离 的 ， 或 者 升级 代码 ， 或 者 升级 数据 库 结构 ， 而 现在 则 需要 升级 存储 在 数据 库 服务 器 上 的 代码 ， 但 DBA 往 


往 并 不 熟悉 业务 逻辑 。 


升级 失败 很 难 马 上 恢复 ， 而 且 影 响 面 太 大 。 而 升级 Web 服 务 器 ， 可 以 逐 台 进 行 升级 。 一 般 情况 下 是 可 以 做 到 逐 台 升 级 而 不 会 导致 异常 的 。 


对 于 业务 非常 繁忙 的 系统 ， 升 级 存储 过 程 可 能 会 导致 系统 出 现 异 常 ， 因 为 要 升级 的 存储 过 程 可 能 正 被 频繁 访问 ， 或 者 应 用 系统 足够 复杂 ， 存 储 过 程 互相 调用 ， 因 此 升级 单个 存储 过 程 需要 特别 小 心 ， 以 


免 影响 整个 系统 。 


开发 、 测 试 环境 和 生产 环境 很 可 能 会 不 一 致 ， 从 而 导致 开发 环境 的 存储 过 程 、 触 发 器 需要 经 过 修改 ， 才 能 升级 到 生产 环 | 


存储 过 程 、 触 发 器 备份 恢复 不 方便 。 


MySQL 不 能 临时 禁用 或 启用 触发 器 ， 因 为 这 点 在 做 数据 迁移 时 ， 修 复 会 比较 麻烦 ， 需 要 临时 删除 触发 器 ， 可 能 还 会 影 


， 因 为 存储 过 程 、 视 


和 触发 器 附加 了 一 些 与 生产 环境 不 一 致 的 信息 。 


@ 


向 到 生产 环境 。 


由 于 存储 过 程 或 触发 器 不 易 测试 ， 或 者 未 做 充分 测试 ， 一 旦 升级 失败 就 可 能 


不 易 分 析 存 储 过 程 或 触发 器 的 性 能 ， 因 为 不 能 通过 慢 查 询 日 志 去 分 析 存 储 过 程 或 触发 器 的 具体 执行 情况 。 慢 查询 日 志 生 


触发 器 可 能 会 导致 死 锁 。 


时 致 数据 错误 ， 因 为 已 经 事先 删除 了 存储 过 程 或 触发 器 。 


有 只 记录 了 “call procedure_name();” 这 样 简单 的 信息 。 


以 上 只 是 列举 一 些 问题 ， 具 体 的 使 用 过 程 中 ，MySQL 的 存储 过 程 和 触发 器 离 商 业 产品 的 距离 还 比较 远 。MySQL 的 很 多 Bug 都 涉及 了 存储 过 程 和 触发 器 。 存 储 过 程 对 于 复制 的 支持 也 不 太 好 。 


(5) 开发 


存储 过 程 并 不 是 一 种 结构 化 良好 的 语言 ， 对 于 习惯 于 面向 对 象 编程 的 人 而 言 


存储 过 程 和 触发 器 的 调试 都 比较 困难 ， 也 没有 什么 好 的 工具 和 方法 。 


一 个 表 中 同类 型 的 触发 器 只 能 建立 一 个 ， 这 就 可 能 会 导致 代码 逻辑 很 复杂 ， 不 易 阅 读 和 维护 ， 


存储 过 


4.9.4 视图 


MySQL 5.0 版 以 上 的 MySQL 服 务 器 提供 了 视 


[ 


mysql> CREATE VIEW test.v AS SELECT * FROM 七 7 


程 
如 果 没 有 完善 的 、 一 致 的 文档 ， 开 发 人 员 往 往 会 不 熟悉 (遗漏 ) 数据 库 上 的 存储 过 程 。 
程 


比较 简单 ， 功 能 也 很 有 限 ， 而 程序 代码 却 可 以 实现 更 多 的 功能 ， 实 现 更 复杂 的 业务 逻辑 。 
业务 系统 中 应 该 尽量 抛弃 存储 过 程 和 触发 器 之 类 的 东西 。 不 要 用 外 键 ， 在 高 并 发 的 情况 下 ， 外 键 会 降低 并 发 性 ， 外 键 


功能 (包括 可 更 新 视图 ) 。 如 下 命令 将 创建 一 个 视 


， 存 储 过 程 更 加 难以 理解 。 代 码 的 可 读 性 和 可 维护 性 在 工程 上 是 很 重要 的 ， 从 这 点 来 说 ， 存 储 过 程 并 不 适合 工程 化 的 需要 。 


因为 需要 把 很 多 不 相关 的 逻辑 都 写 在 一 个 触发 器 代码 内 。 


也 有 诸多 限制 ， 具 体 请 参考 官方 文档 http://dev.MySQL.com/doc/refman/5.1/en/stored-program-restrictions.html#stored-routines-trigger-restrictions 


因此 ， 笔 者 建议 ， 一 定 要 慎 用 存储 过 程 ， 业 务 罗 辑 不 要 放 在 存储 过 程 中 。 不 要 使 用 触发 器 。 在 良好 的 
自身 的 维护 性 和 管理 性 也 欠 佳 。 


[ 


网 


注意 视图 (VIEW) 并 不 会 保存 任何 数据 ， 查 询 视图 返回 的 结果 都 是 来 自 于 基 表 存储 的 数据 。 视 图 一 般 不 会 用 来 提升 性 


能 ， 而 是 用 来 简化 部 分 开发 ， 进 行 权 限 限制 。 


视图 必须 具有 唯一 的 列 名 ， 不 得 有 重复 ， 就 像 基 表 那样 。 默 认 情况 下 ， 由 SELECT 语句 检索 的 列 名 将 用 作 视 


网 


表 和 视图 将 共享 数据 库 中 相同 的 名 称 空间 ， 因 此 ， 数 据 库 不 能 包含 具有 相同 名 称 的 表 和 视图 。 


可 使 用 多 种 SELECT 语句 创建 视图 。 视 图 能 够 引用 基 表 或 其 他 视图 ， 还 能 使 用 联合 、UNION 和 子 查询 。 


视图 可 以 简化 一 些 操作 ， 比 如 隐藏 基 表 的 复杂 性 ， 进 行 一 些 安全 控制 (基于 列 的 权限 控制 ) ， 但 如 果 使 用 不 当 ， 很 可 能 会 带 来 性 能 问题 。 


我 们 需要 了 解 视图 实现 的 机 制 。 对 于 包含 视图 的 SQL， 优 化 器 进行 优化 的 机 制 有 两 种 : MERGE 和 TEMPTABLE。 


“TEMPTABLE: 创建 一 个 临时 表 ， 把 视图 的 结果 集 放 到 临时 表 中 ， 然 后 SQL 操作 这 个 临时 表 。 


“ MERGE: 重 写 SQL， 合 并 视图 的 SQL， 这 种 方法 更 智能 。 


例如 ， 新 建 一 个 视图 test.v。 


CREATE VIEW test.v AS SELECT * FROM t where a=17 


对 于 视图 的 查询 语句 : 


select a,b,c from test.v where b=2; 


第 一 种 临时 表 的 方式 类 似 如 下 语句 。 


CREATE TEMPORARY TABLE TMP a AS SELECT * FROM t where a=l; 
select * from TMP a where b=2; 


这 种 方式 必须 先 查 出 所 有 视图 的 数据 ， 然 后 才能 基于 这 个 视图 的 数据 进行 查找 。 显 然 可 能 会 有 性 能 问题 。 同 时 ， 外 部 的 WHERE 条 件 也 不 能 传递 到 内 部 视图 的 限制 中 ， 临 时 表 上 没有 索引 。 


而 用 第 二 种 方式 ， 优 化 后 的 SQL 类 似 如 下 语句 。 


SELECT * FROM t where a=1 and b=2; 


MySQL 将 尽量 使 用 第 二 种 合并 SQL 的 方式 ， 但 在 很 多 情况 下 ， 由 于 研发 人 员 编 写 的 查询 采用 临时 表 的 方式 ， 因 而 导致 性 能 很 差 。 可 以 用 EXPLAIN 命 令 来 确认 ， 如 果 EXPLAIN 的 select_type 输 出 显示 
DERIVED (查询 结果 来 自 一 个 衍生 表 ) ， 那 么 查询 使 用 的 是 临时 表 的 方式 ， 示 例如 下 。 


root@localhost test>CREATE VIEW test garychen v AS SELECT * FROM test garychen GROUP BY STAT TIME; 
root@localhost en SELECT * BRM test_garychen v; 


十 -一 -一目 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -十 一 一 一 一 一 -一 十 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一- 一 一 十 = 一 -一 -一 十 一 -一 一 一 -一 -一 一 一 十 一 -一 -一 十 一 -一 一 一 一- 二 一 一 一- 一 一 十 

| id | select type | cabls | type | Bossible keys 外 key | Ey len | ref | rows | Extra | 

寺 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 下 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 二 一 一 一 一 -一 -一 一 -一 -一 -一 - 二 -一 -一 -一 -一 十 一 -一 一 一 一- 十 -一 -一 -一 十 一 一 一 十 

| 1 | PRIMARY | ed Se | ALL | 本 | i | Wt | NULL | 110 | | 

| 2 | DERIVED | et ._ garychen | ALL NULL | NULL | NULL | NULL | oy | a or Ug filesort | 

二 一 一 一 一 十 一 一 一 一下 一 十 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 A 十 


使 用 临时 表 的 方式 ， 性 能 可 能 会 变 得 很 差 ， 视 图 也 没有 索引 ， 外 部 的 WHERE 条 件 也 不 会 传递 到 内 部 的 视图 (类 似 于 UNION ALL) 中 。 如 果 两 个 视图 相连 接 ， 那 将 无 法 利用 索引 ， 可 能 会 导致 严重 的 性 
能 问题 。 所 以 需要 小 心 编写 查询 ， 以 免 使 用 到 | 临时 表 的 机 制 。 也 就 是 说 ， 视 图 里 应 尽量 避免 使 用 GROUP BY、ORDER BY、DISTINCT、 聚 集 函 数 、UNION 和 子 查 询 。 


一 些 复杂 的 视图 ， 若 使 用 EXPLAIN 命 令 显 示 执行 计划 ， 将 会 执行 得 很 慢 ， 因 为 EXPLAIN 会 实际 执行 和 物化 派生 表 (derived table) 。 


人 


视图 里 隐藏 了 很 多 细节 ， 研 发 人 员 可 能 会 觉得 这 个 表 很 简单 ， 但 实际 上 底层 是 很 复杂 的 查询 。 如 果 认 为 这 个 视图 很 简单 ， 那 么 可 能 将 它 当 作 成 一 个 简单 查询 频繁 调用 而 不 自 知 ， 从 而 导致 性 能 问题 。 在 
生产 环境 中 我 们 还 发 现 ， 高 并 发 的 情况 下 ， 查 询 优 化 器 将 在 planing 和 statistics 阶 段 花费 大 量 时 间 ， 甚 至 导致 MySQL 服 务 器 停滞， 所 以 即使 使 用 的 是 merge 的 算法 ， 也 仍然 可 能 导致 严重 的 性 能 问题 。 


@, \ 结 “本章 介绍 了 范式 和 反 范 式 ， 反 范式 对 于 开发 中 的 大 型 项 目 很 重要 ， 我 们 有 必要 在 项 目 中 不 断 积累 这 方面 的 经 验 。 关 于 慢 查询 日 志 ， 它 不 仅 是 DBA 常 用 的 工具 ， 研 发 人 员 一 样 也 需要 熟练 掌握 。 
由 于 现实 开发 项 目 中 存在 一 个 很 大 的 问题 ， 缺 少 性 能 管理 ， 本 章 也 介绍 了 性 能 管理 的 一 些 概念 和 方法 。 总 之 ， 如 果 要 开发 高 质量 的 项 目 ， 一 定 要 深刻 理解 数据 库 ， 对 于 数据 库 的 逻辑 设计 、 物 理 设计 、 事 
务 、 锁 等 内 容 都 需要 深入 理解 。 本 章 最 后 介绍 了 一 些 非 核 心 的 MySQL 特 性 ， 对 于 非 核 心 的 MySQL 特 性 的 使 用 ， 一 定 要 慎重 对 待 。 


第 5 章 ”开发 技巧 


本 章 将 介绍 一 些 和 数据 库 相 关 的 开发 技巧 。 由 于 开发 领域 很 广 ， 这 里 只 选取 部 分 比较 常见 的 小 技巧 。 


5.1 “存储 树 形 数据 


有 时 我 们 需要 保存 一 些 树 形 的 数据 结构 ， 比 如 组 织 架构 、 话 题 讨 论 、 知 识 管理 、 商 品 分 类 ， 这 些 数据 存在 一 种 递归 关系 ， 很 多 研发 人 员 想 到 的 第 一 个 解决 方案 往往 是 记录 每 个 节点 的 父 节点 ， 例 如 以 下 
的 评论 表 。 


CREATE TABLE comments ( 
comment id int(10) NOT NULL, 
parent id int(10) DEFAULT NULL, 
comment text NOT NULL, 
PRIMARY KEY (comment id) 

) ENGINE=InnoDB DEFAULT CHARSET=utf8 


实际 数据 类 似 于 表 5-1 所 示 。 


表 5-1 comment 表 的 实际 数据 (记录 了 父 节点 信息 ) 


comment id parent_id 
1 


[eS 


> | 


comment_id parent_id 


10 


如 果 采 用 这 样 的 结构 ， 当 一 篇 帖子 回复 讨论 的 内 容 很 多 的 时 候 ， 就 需要 编写 复杂 的 代码 递归 检索 很 多 记录 ， 查 询 的 效率 就 会 很 低 。 如 果 数 据 量 不 大 、 讨 论 内 容 相对 固定 ,数据 的 层次 较 少 ， 那 么 采 


comment 
这 本 书 不 错 
此 书 作者 和 译 者 的 视野 鼎 为 广阔 ;在 思想 上 更 大 胆 
我 在 狂放 要 不 要 头 
说 得 有 道理 
值得 购买 ， 内 容 比较 契合 目前 的 数据 发 展 潮流 
封面 和 纸张 设计 、 做 工 感觉 有 点 粗糙 了 
在 当下 这 个 大 数据 时 代 ， 这 本 书 一 定 要 看 


comment 
该 书 气味 之 大 ， 装 帧 之 差 实 属 罕 见 
这 本 书 必须 要 看 
比较 实用 ， 实 践 性 比较 强 


洲 


样 的 结构 就 会 是 简单 的 、 清 晰 的 ， 这 种 情况 下 此 结构 还 是 合适 的 ;但 如 果 数 据 量 很 大 ， 查 询 就 会 变 得 很 复杂 。 下 面 介绍 两 种 更 通用 ,扩展 性 更 好 的 解决 方案 : 路 径 枚 举 和 闭 包 表 。 


(1) 路 径 枚 举 


对 于 如 表 5-1 所 示 的 表 结构 ， 可 以 增加 一 个 字段 path， 用 于 记录 节点 的 所 有 祖先 信息 。 记 录 的 方式 是 把 所 有 的 祖先 信息 组 织 成 一 个 字符 串 。 类 似 于 表 5-2 所 示 的 形式 。 


表 5-2 comment 表 的 数据 (记录 了 父 节点 及 祖先 信息 ) 


1 


iD 

| 
je 
] 


EE 
2 此 书 作者 和 译 者 的 视野 颇 为 广阔 ; 在 思路 上 更 大 胆 
我 在 犹 殉 要 不 要 买 


S 
4 说 得 有 道理 
5 值得 购买 ， 内 容 比较 契合 目前 的 数据 发 展 潮流 
6 封面 和 纸张 设计 、 做 工 感 党 有 点 粗糙 了 
7 在 当下 这 个 大 数据 时 代 ， 这 本 书 一 定 要 看 
8 3 /3/ 该 书 气味 之 大 ， 装 帧 之 差 实 属 罕 见 
10 比较 实用 ， 实 践 性 比较 强 
因为 路 径 (path) 字段 包含 了 该 节点 的 所 有 祖先 信息 ， 所 以 可 以 轻易 地 获取 某 个 节点 的 所 有 祖先 节点 ， 可 以 用 程序 先 获取 path 字 符 串 ， 然 后 再 使 用 切割 字符 串 的 函数 处 理 得 到 所 有 的 祖先 节点 。 


如 果 要 查找 某 个 节点 的 所 有 后 代 ， 例 如 查找 comment id 等 于 3 的 所 有 后 代 ， 可 以 使 用 如 下 的 查询 语句 。 


SELECT * FROM comments WHERE path LIKE ‘1/3/ %  ; 


如 果 要 查找 下 一 层 子 节点 ， 可 以 使 用 如 下 的 查询 语句 


SELECT * FROM comments WHERE path REGEXP “^1/3/[0-9]+/$” ; 


插入 操作 也 比较 简单 ， 只 需要 复制 一 份 父 节点 的 路 径 ， 并 将 新 节点 的 ID 值 (comment_id) 添加 到 路 径 末 尾 就 可 以 了 。 


枚 举 路 径 的 方式 使 得 查询 子 树 和 祖先 都 变 得 更 加 简单 ， 查 看 分 隔 符 即 可 知道 节点 的 层次 ， 虽 然 匈 余 存 储 了 一 些 数据 ， 应 用 程序 需要 额外 增加 代码 以 确保 路 径 信 息 的 正确 性 ， 但 这 种 设计 的 扩展 性 更 好 ， 
更 能 适应 未 来 数据 的 不 断 增长 。 表 5-2 中 ， 仍 然 保 留 了 parent id 列 ， 是 为 了 使 一 些 操作 更 加 方便 ， 也 可 以 用 来 校 验 路 径 信息 是 否 正 确 。 


(2) 闭 包 表 


闭 包 表 也 是 一 种 通用 的 方案 ， 它 需要 额外 增加 一 张 表 ， 


使 用 如 下 命令 语句 新 建 表 path 


于 记录 节点 之 间 的 关系 。 它 不 仅 记 录 了 节点 之 间 的 父子 关系 ， 也 记录 了 树 中 所 有 节点 之 间 的 关系 。 


CREATE TABLE path ( 
ancestor int(11) NOT NULL, 
descendant int(11) NOT NULL, 
PRIMARY KEY (ancestor,descendant) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 


ancestor 表 示 祖 先 ，descendant 表 示 后 代 ， 存 储 的 是 comment id 值 。 


数据 类 似 于 表 5-3 所 示 。 


表 5-3 path 表 的 数据 (记录 了 所 有 节点 之 间 的 关系 ) 


ancestor | descendant| ancestor |descendant| ancestor | descendant | ancestor | descendant 

1 9 
1 10 
1 8 
1 9 
多 10 

有 了 如 表 5-3 所 示 的 完整 的 节点 间 关系 ， 查 找 后 代 节 点 、 祖 先 节点 也 变 得 更 容易 ， 比 如 ， 如 果 要 统计 comment_id 等 于 3 的 所 有 后 代 (不 包括 其 自身 ) ， 可 以 直接 搜索 path 表 祖先 是 3 的 记录 即 可 得 到 ， 

搜索 语句 如 下 。 
SELECT COUNT (*) FROM path WHERE ancestor-3 AND descendant <> 3; 
为 了 更 方便 地 查询 直接 父 节点 / 子 节点 ， 可 以 增加 一 个 path_length 字 段 以 表示 深度 ， 节 点 的 自我 引用 path_length 等 于 0， 到 它 的 直接 子 节点 的 path_length 等 于 1， 再 下 一 层 为 2， 以 此 类 推 。 


如 上 所 述 的 数据 结构 ， 新 增 了 一 个 表 ， 用 于 存储 节点 之 间 的 信息 ， 是 一 种 典型 的 “以 空间 换 时 间 ” 的 方案 ， 而 且 一 个 节点 可 以 属于 多 棵 树 。 相 对 于 路 径 枚 举 ， 闭 包 表 的 节点 关系 更 容易 维护 。 其 他 的 操 


作 如 删除 、 插 入 等 这 里 不 再 歼 述 ， 有 兴趣 的 读者 可 以 在 网 上 查找 “ 闭 包 表 ” 的 相关 案例 深入 学 习 。 


5.2 ”转换 字符 集 


如 果 我 们 需要 修改 某 个 表 的 字符 集 ， 比 如 A 表 的 字符 集 原来 是 gbk， 现 在 要 将 其 修改 为 utf8， 一 般 有 以 下 3 种 方法 。 
(1) 直接 在 mysql 命 令 行 下 完成 

步骤 如 下 

1) 建立 一 个 临时 表 B， 字 段 类 型 和 A 一 致 ， 但 字符 集 是 utf8， 即 表 定义 中 DEFAULT CHARSET= utf8。 

2) INSERT INTO B SELECT*FROM A; 

3) DROP TABLE A; 


4) RENAME BTOA; 


(2) 使 用 mysqldump 工 具 完 成 


首先 导出 数据 ， 默 认 mysqldump 导 出 的 dump 转 储 文 件 为 utf8 编 码 的 文件 ， 有 删除 表 、 创 建 表 的 语句 。 然 后 修改 dump 转 储 文件 ， 将 创建 表 语句 里 的 表 或 列 的 字符 集 定义 修改 为 utf8。 最 后 重新 导入 此 


文件 即 可 。 


(3) 使 用 CONV 命 令 转 换文 件 编码 


步骤 如 下 


1) 以 gbk 字 符 集 导 出 数据 ， 不 导出 表 定 义 。 


mysqldump -t -uroot -p database name table namel table name2 --default-character-set=gbk > a gbk.sql 


2) 使 用 iconv 命 令 转 换文 件 编码 ， 将 其 转换 为 utf8 编 码 。 


iconv -fgbk -tutf-8 a gok.sql > a utf8.sql 


3) 修改 文件 中 的 相关 字符 集 设置 。 


sed -i ‘s/SET NAMES gbk/SET NAMES utf8/” a utf8.sql 


4) 删除 旧 表 (table_name1，table_name2) ， 新 建 表 (table name1，table_name2) ， 注 意 新 建 的 表 应 该 是 utf8 字 符 集 。 


5) 使 用 修改 过 的 文件 导入 数据 。 


mysql -uroot -p database name --default-character-set=utf8 < a utf8.sql 


在 早期 的 数据 库 版 本 中 还 会 有 一 种 特殊 情况 ， 由 于 研发 人 员 缺 乏 经 验 ， 选 择 了 错误 的 数据 库 编码 ， 采 用 latin1 编 码 存储 了 中 文 数据 。 因 为 特殊 的 字符 集 设 置 ， 比 如 客户 端 (character_set_client) 、 连 
接 (character_ set_ connection) 、 结 果 (character_set_results) 的 编码 都 是 latin1 编 码 ， 这 样 从 程序 到 数据 库 就 不 会 做 任何 转换 ， 而 将 中 文 编码 (例如 gbk) 以 latin1 编 码 的 方式 进行 存储 。 也 就 是 说 ， 


把 每 个 汉字 当成 两 个 latin1 字 符 进 行 存储 ， 而 且 数 据 库 发 送 结果 的 时 候 也 是 按照 latin1 的 方式 进行 发 送 ， 而 我 们 的 页 面 接收 到 数据 之 后 则 是 以 中 文 的 编码 方式 进行 显示 ， 
一 种 错误 的 设置 ， 数 据 存在 重大 隐患 ， 解 决 方案 是 将 latin 1 字符 集 转换 为 gbk 字 符 集 或 utf8 字 符 集 。 如 下 是 具体 的 转换 步骤 。 


(1) latin1 转 gbk 


此 能 正常 地 显示 。 但 是 ， 这 毕竟 是 


1) 导出 数据 库 


mysqldump --default-character-set=latin]l -h XXX.XXX.XXX.XXX -U root -P 3306 -pxxxxxxxx db name table name > /usr/home/garychen/table name.sql 


2) 修改 table_name.sql 

将 /*140101 SET NAMES latin1*/; 改 为 /*140101 SET NAMES gbk*/; 

将 DEFAULT CHARSET=latin1; 改 为 DEFAULT CHARSET=gbk; 

注意 “不同 版 本 的 mysqldump 修 改 时 可 能 稍 有 出 入 ， 建 议 实际 修改 时 再 确认 下 。 


3) 导入 数据 库 


mysql -uroot -pxxxxxxxx db name < table name.sql 


(2) latin1 转 utf8 


1) 导出 数据 库 ， 同 上 面 的 例子 。 


2) 转换 编码 


iconv -t utf-8 -f gbk -c table name.sql > table name u8.sql 


加 济 用 latin1 保 存 中 文 原本 就 是 错误 的 做 法 ， 文 件 中 存储 的 是 错误 的 latin1 编 码 ， 但 实际 上 是 正确 的 gbk 编 码 ， 所 以 这 里 输入 编码 (-f) 应 为 gbk。 


3) 修改 table name _u8.sql， 使 用 vi 或 sed 命 令 把 latin1 都 改 为 utf8。 


4) 导入 数据 库 


mysql -uroot -pxxxxxxxx db _ name < table name u8.sql 


5.3 ”处 理 重复 值 


表 或 结果 集 有 时 会 包含 重复 记录 ， 需 要 采用 某 种 方法 标识 这 些 重复 的 记录 并 移 除 它们 ， 以 下 示例 将 说 明 如 何 预防 重复 值 ， 以 及 如 果 存 在 重复 记录 时 应 如 何 移 除 它们 。 
(1) 防止 表 中 出 现 重复 的 记录 


可 以 使 用 主键 或 唯一 索引 来 防止 出 现 重复 的 记录 。 例 如 ， 下 表 person _tbl 人 允许 出 现 first name 和 last_name 组 合 相同 的 记录 。 


CREATE TABLE person tbl 
( first name CHAR(20), last_name CHAR(20), sex CHAR(10)); 


可 以 设置 (last_name,，first_name) 为 主键 ,以 确保 不 出 现 重复 记录 ， 语句 如 下 。 


CREATE TABLE person tbl 
( first name CHAR (20) NOT NULL, last name CHAR(20) NOT NULL, sex CHAR(10), PRIMARY KEY (last name, first name)); 


也 可 以 设置 唯一 索引 ， 来 强制 记录 是 唯一 的 ， 语 句 如 下 。 


CREATE TABLE person tbl 
( first name CHAR(20) NOT NULL, last name CHAR (20) NOT NULL, sex CHAR(10) UNIQUE (last name, first name)); 


对 于 可 能 出 现 重复 的 记录 ， 我 们 可 以 考虑 使 用 INSERT IGNORE 语 句 。 如 果 插入 的 记录 并 没有 和 现存 的 记录 发 生 冲 突 ， 则 正常 插入 之 ; 如 果 有 下 
记录 ， 且 不 报错 。 如 下 面 这 个 例子 。 


冲突 ， 那么 INSERT IGNORE 将 会 告 折 MySQL 丢弃 这 条 


mysql> INSERT IGNORE INTO Person tbl (last name, first name) 
VALUES ( 'Jay', 'Thomas'); 一 | 

mysql> INSERT IGNORE INTO person tbl (last name, first name) 
VALUES ( 'Jay', 'Thomas'); 一 


还 可 以 考虑 采用 REPLACE 语 句 ， 如 果 记录 是 新 的 ， 那 么 它 等 同 于 INSERT。 如 果 插 入 的 是 一 个 重复 的 记录 ， 那 么 新 记录 将 会 替换 旧 的 记录 。 


mysql> REPLACE INTO Person tbl (last name, first name) 
VALUES ( 'Ajay', 'Kumar'™); a < 

Query OK, 1 row affected (0.00 sec) 

mysql> REPLACE INTO Person tbl (last name, first name) 
VALUES ( 'Ajay', 'Kumar'); 

Query OK, 2 rows affected (0.00 sec) 


综 上 所 述 ， 对 于 重复 的 记录 ，INSERT IGNORE 仍 然 保留 着 现在 的 记录 ， 丢 弃 新 插入 的 记录 。 而 REPLACE 语 句 则 会 使 用 新 的 记录 覆盖 掉 旧 的 记录 ，。 


(2) 统计 和 识别 


rr 
ju 


E 复 值 


如 下 语句 将 查询 和 计算 表 person tbl 中 (last_name，first_name) 组 合 有 重复 的 记录 的 数量 。 


mysql> SELECT COUNT (*) AS repetitions, last name, first name 
FROM person tbl 
GROUP BY last name, first name 
HAVING repetitions > 1; 


(3) 从 结果 集中 消除 重复 记录 


使 用 DISTINCT 关 键 字 即 可 从 结果 集中 消除 重复 记录 。 


mysql> SELECT DISTINCT last name, first name 
FROM person tbl 
ORDER BY last name; 


或 者 ， 也 可 以 使 用 GROUP BY 子 句 。 


mysql> SELECT last name, first name 
FROM person tbl 
GROUP BY (last name, first name); 


(4) 删除 表 中 的 重复 记录 


mysql> CREATE TABLE tmp SELECT last name, first name, sex 
”FROM person tbl; 
GROUP BY (last name, first name); 
mysql> DROP TABLE person tbl; 
Mysql> ALTER TABLE tmp RENAME, TO person tbl; 


还 有 一 个 不 为 人 知 的 技巧 ， 可 以 直接 在 一 个 有 重复 记录 的 表 上 加 上 主键 或 唯一 索引 ， 可 使 用 ALTER IGNORE 语 句 ， 命 令 如 下 。 


mysql> ALTER IGNORE TABLE person tbl 
ADD PRIMARY KEY (last name, first name); 


可 以 使 用 如 上 的 方法 消除 重复 记录 ， 并 且 确 保 以 后 都 有 唯一 约束 。 


也 可 以 采用 如 下 的 方式 ， 直 接 删除 重复 数据 ， 如 下 语句 将 删除 name 相 同 的 数据 ， 其 中 id 是 主键 。 


DELETE t1 FROM tablel AS tl JOIN tablel AS t2 ON t1.id>t2.id AND t1.name=t2.name; 


54 分 页 算法 


下 面 来 看 如 下 这 个 查询 语句 。 


mysql> SELECT col 1,col 2 FROM Profiles WHERE here sex='M' ORDER BY rating limit 10; 


如 果 没 有 索引 ， 以 上 查询 将 会 变 得 很 慢 ， 即 使 有 了 索引 ， 也 不 一 定 会 变 快 。 程 序 的 展示 页 面 可 能 是 分 页 显示 ， 如 果 有 人 点 击 的 是 中 间 的 某 个 页 面 ， 类 似 如 下 的 查询 。 


mysql> SELECT col 1,col 2 FROM profiles WHERE sex='M' ORDER BY rating limit 100000, 10; 


这 种 查询 ， 无 论 如 何 索引 ， 效 率 都 会 奇 差 ， 因 为 大 偏 距 (high offset) 值 的 查询 ， 会 花费 大 部 分 时 间 来 扫描 大 量 数据 ， 而 这 些 数据 最 终 都 会 被 丢弃 ; 这 种 情况 下 ， 更 好 的 办 法 是 限制 用 户 所 看 到 的 页 ， 
比如 只 提供 最 新 的 几 页 、 上 一 页 、 下 一 页 ， 因 为 没有 什么 用 户 会 去 关注 第 10000 页 的 内 容 。 


或 者 换 一 个 思路 ， 点 击 1000 页 或 10000 页 这 个 行为 很 稀少 ， 那 么 根本 没有 必要 做 得 很 准确 ， 自 己 根据 数据 库 的 数据 估算 总 的 页 数 ， 构 建 连接 即 可 ， 有 一 些 误差 是 可 以 接受 的 。 


另 一 个 办 法 是 使 用 覆盖 索引 (covering index) 。 以 下 示例 中 的 表 已 经 在 (sex，rating) 上 创建 了 索引 ，id 是 主键 。 


mysql> SELECT col 1,col 2 FROM profiles INNER JOIN 
(SELECT id FROM profiles 
WHERE X.Sex='M' ORDER BY rating) AS x USING id; 


以 上 语句 中 的 SELECT 子 查询 (SELECT id.…..) 可 以 利用 到 覆盖 索引 ， 由 于 覆盖 索引 一 般 已 被 加 载 到 内 存 ， 因 此 这 种 方式 的 排序 效率 会 高 许多 。 在 一 定 的 数据 量 下 ， 性 能 尚 可 。 


5.5 处理 NULL 值 


对 于 SQL 新 手 ，NULL 值 的 概念 常常 会 造成 混淆 ， 他 们 常 认为 NULL 与 空 字 符 串 “"” 是 相同 的 ， 然 而 事实 并 非 如 此 。 例 如 ， 下 述 语 名 就 是 完全 不 同 的 。 


mysql> INSERT INTO my table (phone) VALUES (NULL); 
mysql> INSERT INTO my table (phone) VALUES (''); 


这 两 条 语句 均 会 将 值 插入 phone (电话 ) 列 ,但 第 1 条 语句 插入 的 是 NULL 值 ， 第 2 条 语句 插入 的 是 空 字符 串 。 第 1 条 语句 的 含义 可 被 解释 为 “电话 号 码 未知 ”， 而 第 2 条 语句 的 含义 可 被 解释 为 “该 人 员 
没有 电话 ， 因 此 没有 电话 号 码 ”。 


在 SQL 中 ，NULL 值 与 任何 其 他 值 的 比较 (即使 是 NULL) 永远 都 不 会 为 “ 真 ”。 


为 了 进行 NULL 处 理 ， 可 使 用 IS NULL 和 IS NOT NULL 操 作 符 。 如 ， 


mysql> SELECT * FROM my table WHERE phone IS NULL; 


使 用 LOAD DATA INFILE 读 取 数 据 时 ， 对 于 空 的 或 丢失 的 列 ， 将 用 空 字符 串 “"” 来 更 新 它们 。 如 果 希 望 在 列 中 具有 NULL 值 ， 应 在 数据 文件 中 使 用 \N。 


使 用 DISTINCT、GROUP BY 或 ORDER BY 时 ， 所 有 NULL 值 将 被 视 为 是 等 同 的 。 


使 用 ORDER BY 时 ， 首 先 将 显示 NULL 值 ， 如 果 指定 了 DESC 按 降序 排列 ， 那 么 NULL 值 将 在 最 后 面 显示 。 


对 于 聚合 (累计 ) 函数 , 如 COUNT () 、MIN () 和 SUM () ， 将 忽略 NULL 值 。 对 此 的 例外 是 COUNT (*) ， 它 将 计数 行 而 不 是 单独 的 列 值 。 例 如 ， 下 述 语句 会 产生 两 个 计数 。 首 先 计数 表 中 的 行 
数 ， 其 次 计数 age 列 中 的 非 NULL 值 的 数目 : 


mysql> SELECT COUNT (*), COUNT (age) FROM Person; 


对 于 某 些 列 类 型 ，MySQL 将 对 NULL 值 进行 特殊 处 理 。 如 果 将 NULL 值 插入 TIMESTAMP 列 ， 那 么 将 插入 当前 日 期 和 和 时间。 如 果 将 NULL 值 插入 具有 AUTO_INCREMENT 属 性 的 整数 列 ， 那 么 将 插入 序列 
中 的 下 一 个 编号 。 


NULL 值 的 存 取 ， 可 能 导致 程序 异常 ， 我 们 有 很 多 方法 可 用 来 友好 地 显示 NULL 值 。 


(1) 使 用 CASE 语 句 


SELECT 
CASE 
WHEN SUM(size) IS NULL THEN 0 
ELSE SUM(size) 
END 
INTO @1_ sum vol FROM table a; 


(2) 使 用 COALESCE 函 数 


SELECT COALESCE( sum(size) , 0 ) FROM table a 


COALESCE(value,http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/.…) 函 数 : 返回 值 为 列表 当中 的 第 一 个 非 NULL 值 ,在 
没有 非 NULL 值 的 情况 下 返回 值 将 为 NULL。 


(3) 使 用 FNULL 函 数 


SELECT SUM (ifnull (size,0)) FROM table a; 


IFNULL(expr1，expr2) 函 数 : 假如 expr1 不 为 NULL， 则 IFNULL () 的 返回 值 为 expr1; 否则 其 的 返回 值 为 expr2。IFNULL () 的 返回 值 是 数字 还 是 字符 串 取决 于 其 所 使 用 的 语 境 。 


(4) 使 用 IF 函数 


SELECT SUM (IF (size is null, 0, size)) AS totalsize FROM table a; 


IF(expr1，expr2，expr3): 如 果 expr1 是 TRUE， 则 IF() 的 返回 值 为 expr2; 否则 返回 值 为 expr3。IF0 的 返回 值 是 数字 还 是 字符 串 视 其 所 在 的 语 境 而 定 。 


NULL 值 可 能 会 导致 MySQL 的 优化 变 得 复杂 ， 所 以 ， 一 般 建 议 字 段 应 尽量 避免 使 用 NULL 值 。 


5.6 存储 URL 地 址 


在 互联 网 应 用 中 ， 存 储 和 检索 域名 或 长 的 URL 地 址 是 很 常见 的 。 那 么 对 于 此 类 数据 的 存 取 ， 又 有 哪些 技巧 呢 。 


对 于 存储 域名 ， 可 按照 字符 颠倒 的 方式 进行 存储 ， 这 样 做 可 方便 索引 。 


如 : 


com. fabulab.marcomacaco 
com.fabulapPs .kiko 
com. fandora9.angryVirus 


存储 URL 值 ， 一 般 推 荐 的 做 法 是 对 URL 值 做 一 个 散 列 ， 散 列 值 最 好 是 整 型 ， 然 后 存储 这 个 散 列 值 ， 并 在 其 上 创建 索引 。 如 下 示例 将 对 域名 进行 散 列 。 


SELECT CONV (RIGHT (MD5 ( “http://www.mysql.com/”)，16)，16，10) AS HASH64; 


新 建 一 个 字段 url_hash， 用 于 保存 类 型 为 整 型 的 散 列 值 。 以 后 这 样 查询 即 可 。 


SELECT id FROM Url WHERE 
url hash=CONV (RIGHT (MD5 ('http://www.mysql.com/'), 16), 16, 10) 
AND url=http://www.mysql .com; 


散 列 函数 可 以 用 程序 来 实现 ， 以 减少 在 MySQL 侧 的 运算 。 


5.7 “归档 历史 数据 


随 着 项 目的 发 展 ， 将 历史 数据 从 日 常 使 用 的 数据 中 删除 ， 或 将 其 移动 到 归档 历史 表 中 是 比较 常见 的 需求 。 对 过 期 数据 的 查询 很 少时 ， 这 样 做 可 以 提高 性 能 ， 而 且 也 不 用 对 程序 做 大 的 变动 。 还 可 以 把 过 
期 的 历史 数据 放 到 其 他 性 能 较 差 的 实例 、 机 器 上 ， 以 便 更 好 地 利用 资源 。 


另 一 种 比较 常见 的 方式 ， 是 按照 时 间 分 表 ， 比 如 按 月 份 、 按 日 来 分 表 存 储 数据 。 这 种 方式 比较 容易 区 分 数据 ， 方 便 维 护 。 但 要 留意 如 果 有 跨越 多 个 表 的 查询 ， 效 率 可 能 会 比较 差 ， 需 要 综合 考虑 平衡 分 
表 的 粒度 。 


笔者 不 建议 使 用 MySQL 自 身 的 特性 实现 归档 ， 比 如 分 区 表 。 一 般 来 说 ， 把 归档 操作 的 逻辑 放 到 程序 处 ， 可 以 更 方便 后 期 的 维护 。 


归档 数据 可 以 通过 定时 执行 的 守护 执行 ， 也 可 以 使 用 一 些 特定 的 归档 工具 来 归档 数据 。 还 有 ， 需 要 确保 这 种 大 数据 量 的 操作 不 会 影响 到 正常 的 生产 。 


5.8 ”使 用 数据 库存 储 图 片 


如 果 使 用 文件 系统 或 分 布 式 文件 系统 存储 图 片 ， 那 么 文件 和 数据 库 的 信息 可 能 难以 保持 一 致 ， 也 不 好 回 滚 ， 不 好 统一 进行 备份 ， 尤 其 是 在 多 机 房 的 环境 下 。 为 了 简化 开发 和 架构 ， 也 可 以 考虑 使 用 数据 
库 来 存储 图 片 。MySQL BLOB 类 型 (MEDIUMBLOB， 最 大 支持 16MB 的 数据 ) 对 于 绝 大 部 分 图 片 来 说 都 足够 了 ， 我 们 可 以 使 用 LOAD _FILE() 方 法 读 取 一 个 文件 ， 然 后 将 内 容 保存 到 BLOB 列 中 。 


由 于 数据 库 毕竟 不 适合 于 存储 大 量 的 图 片 ， 如 果 存 储 大 量 图 片 的 话 ， 仍 然 建议 使 用 文件 系统 或 分 布 式 文件 系统 。 分 布 式 文件 系统 配合 缓存 、CDN 技 术 ， 往 往 是 海量 图 片 存 储 系统 的 优选 方案 。 


5.9 多 表 UPDATE 


MySQL 可 以 基于 多 表 查 询 更 新 数据 。 如 下 是 MySQL 多 表 UPDATE 在 实践 中 的 几 种 不 同 写法 。 对 于 多 表 的 UPDATE 操 作 需 要 慎重 ， 建 议 在 更 新 之 前 ， 先 使 用 SELECT 语句 查询 验证 下 要 更 新 的 数据 与 自己 
期 望 的 是 否 一 致 。 


假定 我 们 有 两 张 表 ， 一 张 表 为 product 表 ， 存 放 产 品 信息 ， 其 中 有 产品 价格 列 price; 另外 一 张 表 是 product_price 表 ， 要 将 product_price 表 中 的 价格 字段 price 更 新 为 product 表 中 价格 字段 price 的 
80%。 


在 MySQL 中 我 们 有 几 种 手段 可 以 做 到 这 一 点 ， 一 种 是 “UPDATE table1 t1,table2,http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/..table n” 的 方式 。 


UPDATE product p, product price pp 
SET pp.price = p.price * 0.8 
WHERE p.productId = pp.productId 


另外 一 种 方法 是 使 用 INNER JOIN 然 后 更 新 。 


UPDATE product p 

INNER JOIN product price pp 
ON p.productId = pp.productId 
SET pp.price = p.price * 0.8 


也 可 以 使 用 LEFT JOIN 来 做 多 表 UPDATE， 如 果 product_price 表 中 没有 产品 价格 记录 的 话 ， 将 product 表 的 isDeleted 字 段 设 置 为 1，SQL 语 句 如 下 。 


UPDATE product p 

LEFT JOIN product price pp 
ON p.productId = pp.productId 
SET p.deleted = 1 

WHERE pp.productId IS NULL 


另外 ， 上 面 的 几 个 例子 都 是 在 两 张 表 之 间 做 关联 ， 但 是 只 更 新 一 张 表 中 的 记录 ， 其 实 MySQL 是 可 以 同时 更 新 两 张 表 的 ， 如 下 查询 就 同时 修改 了 两 个 表 。 


UPDATE product p 

INNER JOIN product price pp 
ON p.productId = pp.productId 
SET pp.price = p.price * 0.8, 
p.dateUpdate = CURDATE () 


两 张 表 做 关联 ， 同 时 更 新 了 product_price 表 的 price 字 段 和 product 表 的 dateUpdate 两 个 字段 。 


5.10 ”生成 全 局 唯一 ID 


由 于 分 布 式 数 据 库 的 部 署 ， 多 个 节点 之 间 为 了 避免 数据 冲突 ， 需 要 有 一 个 全 局 唯一 的 ID 进行 标识 ， 一 些 NoSQl 数 据 库 从 设计 之 初 ， 就 考虑 了 ID 的 不 重复 ， 而 MySQL 在 这 方面 仍然 需要 借助 一 些 特殊 的 
手段 来 生成 全 局 唯一 的 ID。 可 以 考虑 如 下 这 些 方式 。 


1) 利用 数据 库 自身 的 特性 ， 在 数据 库 启动 参数 里 配置 auto_increment_increment 和 auto_increment_offset， 不 过 我 们 不 推荐 这 种 方式 ， 因 为 这 会 导致 数据 库 的 维护 成 本 上 升 。 


2) 配置 一 个 单独 的 服务 生成 全 局 ID， 可 以 是 MySQL， 也 可 以 是 NoSQL 产 品 ， 甚 至 可 以 构建 自己 的 专门 用 来 生成 唯一 ID 的 服务 ， 为 了 提高 效率 ， 还 可 以 批量 获取 唯一 的 ID 序列 。 


3) 另外 一 种 方式 是 ， 通 过 函数 、 程 序 算法 或 字段 组 合生 成 唯一 |D， 这 种 方式 ， 可 能 会 产生 冲突 ， 但 是 可 以 将 这 个 冲突 的 概率 做 到 非常 小 ， 我 们 更 推荐 使 用 这 种 方式 。 


5.11 使 用 SQL 生成 升级 SQL 


可 以 使 用 SQL 去 生成 升级 的 SQL 文件 ， 如 使 用 CONCAT 函 数 拼接 生成 SQL 语句 。 例 如 ， 批 量 删除 前 缀 为 “prefix” 的 表 ， 命 令 如 下 。 


SELECT CONCAT ('drop table ',table name,';') INTO OUTFILE '/tmp/drop table.sql' FROM information schema.tables WHERE table name LIKE 'prefix%' RND table schema='db name'; 


Of 我 们 使 用 一 些 技巧 、 方 法 ， 是 为 了 更 方便 、 更 高 效 地 使 用 数据 库 。 部 分 技巧 的 使 用 和 具体 数据 库 无 关 ; 部 分 技巧 的 使 用 ， 需 要 深入 了 解数 据 库 。 在 我 们 撰写 代码 的 过 程 中 ， 应 该 经 常 问 自己 ， 
自己 对 于 数据 的 操作 ， 是 否 优雅 、 高 效 、 可 扩展 。 在 这 样 的 理念 的 引导 下 ， 我 们 将 会 变 得 越 来 越 有 技巧 。 


第 6 章 ”查询 优化 


查询 优化 是 研发 人 员 比 较 关注 也 是 疑问 较 多 的 领域 。 本 章 首先 为 读者 介绍 常用 的 优化 策略 、MySQL 的 优化 器 、 连 接 机 制 ， 然 后 介绍 各 种 语句 的 优化 ， 在 阅读 本 章 之 前 ， 需 要 先 对 EXPLAIN 命 令 ， 索 引 知 
识 有 必要 的 了 解 。 


研发 人 员 应 该 掌握 并 且 熟 悉 优化 技巧 ， 某 种 意义 上 ， 因 为 研发 人 员 熟 悉 业务 逻辑 ， 因 此 应 该 比 DBA 更 加 擅长 于 对 SQL 的 优化 。 现 实 中 ， 各 种 技术 之 间 的 界限 变 得 越 来 越 模糊 ， 不 同 背 景 的 IT 从 业 人 员 之 
间 的 交流 也 越 来 越 频繁 ， 本 书 将 属于 优化 的 大 部 分 内 容 都 放 在 开发 篇 ， 是 因为 优化 的 重心 将 会 越 来 越 向 前 推移 到 研发 团 从 ，DBA 也 需要 了 解 开发 ， 需 要 融入 整个 研发 体系 中 去 。 


6.1 ”基础 知识 


6.1.1 查询 优化 的 常用 策略 


一 般 常 用 的 查询 优化 策略 有 优化 数据 访问 、 重 写 SQL、 重 新 设计 表 、 添 加 索引 4 种 。 下 面 将 分 别 介绍 这 4 种 优化 策略 。 


(1) 优化 数据 访问 


应 该 尽量 减少 对 数据 的 访问 。 一 般 有 如 下 两 个 需要 考虑 的 地 方 : 应 用 程序 应 减少 对 数据 库 的 数据 访问 ， 数 据 库 应 减少 实际 扫描 的 记录 数 。 


例如 ， 如 果 应 用 程序 可 以 缓存 数据 ， 就 可 以 不 需要 从 数据 库 中 直接 读 取 数 据 。 


例如 ， 如 果 应 用 程序 只 需要 几 个 列 的 数据 ， 就 没有 必要 把 所 有 列 的 数据 全 部 读 取出 来 ， 应 该 尽 可 能 地 避免 “SELECT*FROM table_name” 这样 的 语句 。 


例如 ， 有 时 我 们 在 慢 查 询 日 志 里 会 看 到 Rows_examined 这 一 项 的 值 很 高 ， 而 实际 上 ， 并 不 需要 扫描 大 量 的 数据 ， 这 种 情况 下 添加 索引 或 增加 筛选 条 件 都 可 以 极 大 地 减少 记录 扫描 的 行 数 。 


类 似 的 例子 还 有 很 多 ， 这 里 就 不 一 一 列举 了 。 


(2) 重 写 SQL 


由 于 复杂 查询 严重 降低 了 并 发 性 ， 因 此 为 了 让 程序 更 适 于 扩展 ， 我 们 可 以 把 复杂 的 查询 分 解 为 多 个 简单 的 查询 。 一 般 来 说 多 个 简单 查询 的 总 成 本 是 小 于 一 个 复杂 查询 的 。 


对 于 需要 进行 大 量 数据 的 操作 ， 可 以 分 批 执行 ， 以 减少 对 生产 系统 产生 的 影响 ， 从 而 缓解 复制 超时 。 


由 于 MySQL 连 接 (JOIN) 严重 降低 了 并 发 性 ， 对 于 高 并 发 ， 高 性 能 的 服务 ， 应 该 尽量 避免 连接 太 多 表 ， 如 果 可 能 ， 对 于 一 些 严重 影响 性 能 的 SQL， 建 议程 序 在 应 用 层 就 实现 部 分 连接 的 功能 。 这 样 的 好 
处 是 : 可 以 更 方便 、 更 高 效 地 缓存 数据 ， 方 便 迁 移 表 到 另外 的 机 器 ， 扩 展 性 也 更 好 。 


(3) 重新 设计 库 表 


有 些 情况 下 ， 我 们 即使 是 重 写 SQL 或 添加 索引 也 是 解决 不 了 问题 的 ， 这 个 时 候 可 能 要 考虑 更 改 表 结构 的 设计 。 比 如 ， 可 以 增加 一 个 缓存 表 ， 暂 存 统计 数据 ,或 者 可 以 增加 宛 余 列 ， 以 减少 连接 。 优 化 的 
主要 方向 是 进行 反 范 式 设计 ， 反 范式 的 设计 请 参考 4.1 节 。 


(4) 添加 索引 


生产 环境 中 的 性 能 问题 ， 可 能 80% 的 都 是 索引 的 问题 ， 所 以 优化 好 索引 ， 就 已 经 有 了 一 个 好 的 开始 。 索 引 的 具体 优化 ， 请 参考 3.5 节 。 


6.1.2 ”优化 器 介绍 


查询 优化 器 的 任务 是 发 现 执行 SQL 查询 的 最 佳 方案 。“ 好 ”方案 和 “ 坏 ” 方 案 之 间 性 能 的 差别 可 能 会 很 大 。 大 多 数 查 询 优 化 器 ， 包 括 MySQL 的 查询 优化 器 ， 总 是 或 多 或 少 地 在 所 有 可 能 的 查询 评估 方案 
中 搜索 最 佳 方案 。 不 同 版 本 优化 器 的 优化 算法 可 能 也 会 不 同 ， 随 着 MySQL 版 本 的 进化 ， 优 化 器 也 变 得 越 来 越 强 大 和 智能 ， 去 除了 一 些 限制 ， 改 进 了 一 些 算法 。 本 书 主要 关注 的 是 MySQL 5.1 版 本 的 优化 方 
式 ，MySQL 5.5、5.6、5.7 版 本 目前 都 已 经 有 了 GA 版 本 ， 相 关 的 改进 ， 建 议 大 家 参考 官方 文档 。 如 果 不 确定 优化 器 的 优化 方式 ， 可 以 使 用 EXPLAIN 语 句 验证 之 。 


1. 优 化 器 的 不 足 
MySQL 优 化 器 也 有 很 多 不 足 之 处 ， 它 不 一 定 能 保证 选择 的 执行 计划 就 是 最 优 的 。 
“ 数据 的 统计 信息 有 可 能 是 错误 的 ， 对 于 复杂 的 查询 ， 数 据 库 可 能 会 执行 错误 的 执行 计划 ， 从 而 导致 严重 的 性 能 问题 。 


“ MySQL 优化 器 的 优化 是 基于 简单 的 成 本 评估 进行 的 ， 总 是 会 选择 成 本 更 小 的 执行 计划 ， 其 对 成 本 衡量 的 标准 是 读 取 的 随机 块 的 数量 但是， 本质 上 成 本 往往 包括 了 诸多 因素 ，CPU、 内 存 、 数 据 是 否 
在 缓存 中 ， 都 是 需要 考虑 到 的 因素 ， 这 样 往往 会 导致 MySQL 计 算得 出 的 成 本 最 小 的 执行 计划 不 一 定 是 响应 最 快 的 。 


“ 优化 器 不 会 考虑 并 发 的 情况 ， 而 实际 的 数据 库 执行 ， 并 发 处 理 则 是 复杂 的 ， 资 源 的 争 用 可 能 会 导致 性 能 问题 。 


“ 一 些 商业 数据 库 在 执行 的 过 程 中 会 对 各 种 优化 结果 的 执行 情况 进行 统计 评估 ， 以 便 自动 改进 后 续 的 执行 优化 状况 ， 而 MySQL 目 前 还 没有 这 些 功 能 。 


2. 优 化 器 加 提示 


有 时 我 们 需要 告诉 优化 器 ， 让 它 按 我 们 的 意图 生成 执行 计划 ， 但 是 ， 加 提示 (hint) 的 方式 不 到 万 不 得 已 ， 建 议 不 要 使 用 。 一 般 来 说 ， 复 杂 的 SQL 走 了 错误 的 执行 计划 的 时 候 才 可 能 需要 使 用 到 提示 ， 
我 们 应 该 尽量 让 MySQL 的 优化 器 去 决定 执行 计划 。 否 则 ， 将 会 增加 MySQL 的 维护 成 本 ， 你 也 可 能 需要 更 多 的 额外 工作 。 随 着 时 间 的 演变 ， 我 们 选择 的 提示 所 依据 的 外 部 条 件 很 可 能 已 经 发 生 了 变化 ， 比 如 
说 数据 量 、 数 据 分 布 发 生 了 变化 ， 如 果 你 仍然 使 用 旧 的 提示 ， 可 能 会 导致 MySQL 承 担 过 多 的 工作 。 而 且 ， 在 MySQL 升 级 了 新 版 本 后 ， 你 也 应 用 不 了 新 的 优化 技术 。 


0 


比较 常用 的 加 提示 的 方式 有 如 下 6 种 。 


(1) 使 用 索引 (USE INDEX) 


USE INDEX(index_list) 将 告诉 MySQL 使 用 我 们 指定 的 索引 去 检索 记录 。index _list 是 索引 名 列表 ， 以 逗号 分 隔 。 注 意 ， 我 们 这 里 设置 的 是 索引 名 或 索引 名 列表 ， 而 不 是 索引 基于 的 字段 名 ， 主 键 名 为 
PRIMARY。 可 以 使 用 SHOW INDEX FROM table name 命令 显示 表 上 的 索引 名 。 


下 面 的 例子 表示 建议 使 用 索引 名 为 col1_index 或 col2_index 的 索引 检索 表 。 


SELECT * FROM tablel USE INDEX (coll index,col2 index) 
WHERE col1=1 AND col2=2 AND col3=3; 


(2) 不 使 用 索引 (IGNORE INDEX) 


IGNORE INDEX(index _list) 将 建议 MySQL 不 使 用 指定 的 索引 。 如 果 我 们 用 EXPLAIN 命 令 查 看 执行 计划 ， 发 现 走 了 错误 的 索引 ， 那 么 可 以 使 用 IGNORE INDEX 来 避免 继续 使 用 错误 的 索引 。 如 下 的 例子 
表示 建议 MySQL 不 使 用 索引 名 为 col3_index 的 索引 。 


SELECT * FROM tablel IGNORE INDEX (col3 index) 
WHERE coll=1 AND col2=2 AND col3=3; 


(3) 强制 使 用 索引 (FORCE INDEX) 


有 时 我 们 使 用 USE INDEX 指 定 了 索引 ， 但 MySQL 优 化 器 仍然 选择 不 使 用 我 们 指定 的 索引 ， 这 时 可 以 考虑 使 用 FORCE INDEX 提 示 。 


注意 ，USE INDEX、IGNORE INDEX 和 FORCE INDEX 这 些 提示 方式 只 会 影响 MySQL 在 表 中 检索 记录 或 连接 要 使 用 的 索引 ， 它 们 并 不 会 影响 ORDER BY 或 GROUP BY 子 句 对 于 索引 的 选择 。 


(4) 不 使 用 查询 缓冲 (SQL_NO_CACHE) 


SQL NO_CACHE 提 示 MySQL 对 指定 的 查询 关闭 查询 缓冲 机 制 。 有 时 为 了 验证 一 条 SQL 语句 实际 执行 的 时 间 ， 我 们 可 以 临时 如 上 SQL_ NO_CACHE， 以 免 被 查询 缓冲 给 误导 了 。 对 于 一 些 不 期 望 被 缓存 
的 SQL， 比 如 夜间 的 报表 查询 ， 可 以 通过 设置 SQL NO_CACHE 来 让 MySQL 查 询 缓冲 更 高 效 地 工作 。 


(5) 使 用 查询 缓冲 (SQL CACHE) 


有 时 我 们 将 查询 缓冲 设置 为 显 式 模式 (explicit mode，query_cache type=2) ， 也 就 是 说 ， 除 非 指明 了 SQL 需要 缓存 ， 否 则 MySQL 是 不 考虑 缓存 它 的 ， 我 们 使 用 SQL_CACHE 来 指定 哪些 查询 需要 被 
缓存 。 


(6) STRAIGHT JOIN 


这 个 提示 将 告 折 MySQL 按照 FROM 子 句 描述 的 表 的 顺序 进行 连接 。 如 果 用 EXPLAIN 命 令 进行 检查 ， 确 认 了 MySQL 没 有 按照 最 优 的 顺序 进行 表 的 连接 ， 那 就 可 以 使 用 这 个 提示 ， 告 诉 MySQL 按 照 我 们 指 
定 的 顺序 进行 连接 。 不 建议 自己 指定 连接 顺序 ， 可 以 尝试 重 写 SQL， 看 看 MySQL 是 否 能 够 选择 更 好 的 执行 计划 ， 也 可 以 尝试 分 析 表 (运行 ANALYZE TABLE 命 令 ) 以 更 新 索引 统计 信息 ，STRAIGHT_JOIN 应 
该 是 最 万 不 得 已 时 才 做 的 选择 。 


6.1.3 ”MySQL 的 连接 机 制 


MySQL 中 的 JOIN (连接 ) 这 个 术语 泛 指 一 切 查 询 ， 而 不 是 传统 术语 中 的 定义 : “两 个 表 之 间 的 JOIN”。MySQL 的 查询 优化 器 最 重要 的 部 分 就 是 连接 优化 器 ， 由 它 来 决定 多 个 表 连 接 的 次 序 。 其 他 的 查 
询 语句 都 相应 地 向 JOIN 靠拢 : 单 表 查 询 将 被 当 作 JOIN 的 特例 ， 子 查询 也 将 被 尽量 转换 为 JOIN 查询 。 


MySQL 一 般 使 用 的 是 “Nested Loop Join”， 即 幅 套 连接 。 图 6-1 是 《High Performance MySQL》 一 书 中 对 嵌 套 连接 的 说 明 图 ，col3 为 连接 列 ， 连 接 两 个 表 tbl1、tbl2 的 步骤 类 似 如 图 6-1 所 示 。 


表 


结果 行 


coll=$5, col2=1 


col1=S ，col2=2 


col3=]1 ，col2=3 coll=S ，col2=3 


coll=6，col3= col3=1 ，col2=1 


coll=6, col2=1 
col1=6 ，col2=2 


col1=6，col2=3 


col3=]1 ，col2=2 


图 6-1 庶 套 连接 


如 图 6-1 所 示 ， 赃 套 连接 遍历 tbl1 表 ， 对 于 tbl1 表 中 的 每 一 行 记录 ， 都 将 去 tbl2 表 中 探测 ， 看 是 否 有 满足 条 件 的 记录 。 上 述 执 行 步骤 ， 可 以 简单 地 描述 成 如 下 语句 ， 实 际 上 ，MySQL 对 如 下 算法 做 了 一 些 
改进 。 


For each tuple r in tbll do 
For each tuple s in tbl2 do 
If r and s satisfy the join condition 
Then output the tuple <r,s> 


我 们 称 外 部 的 tbl1 表 为 驱动 表 或 外 部 表 ， 内 部 的 tbl2 表 为 内 部 表 。 这 种 算法 的 成 本 与 外 部 表 行 数 乘 以 内 部 表 行 数 的 乘积 是 成 正比 例 的。 如 果 赃 套 的 层次 比较 多 ， 也 就 是 说 连接 了 很 多 表 ， 那 么 成 本 将 是 昂 
贵 的 。 如 果 两 个 表 进 行 连接 ，MySQL 优 化 器 一 般 会 选择 更 小 的 表 或 更 小 子 集 (满足 查询 条 件 的 记录 行 数 少 ) 的 表 作 为 驱动 表 。 为 什么 要 这 么 做 呢 ? 由 上 面 的 代码 可 知 ， 随 着 驱动 表 (外 部 表 ) 行 数 的 增加 ， 
成 本 会 增加 得 很 快 ， 选 择 更 小 的 外 部 表 或 更 小 子 集 的 外 部 表 ， 是 为 了 尽量 减少 谋 套 连接 的 循环 次 数 ， 而 且 ， 内 部 表 一 般 在 连接 列 有 索引 ， 索 引 一 般 常 驻 于 内 存 中 ， 这 样 可 以 保证 很 快 完成 连接 。 


因此 ，MySQL 应 该 尽量 避免 连接 太 多 表 。 在 现实 的 生产 环境 中 ， 这 个 问题 很 普遍 ， 研 发 人 员 往 往 低估 了 连接 太 多 表 所 带 来 的 负面 影响 。 


6.2 ”各 种 语句 优化 
民 量 比较 小 的 时 候 ， 


能 会 影响 性 能 


比较 常见 的 一 种 情况 是 ， 在 数 
的 设计 ， 最 好 在 早期 就 确定 未 来 可 


6.2.1 连接 的 优化 


， 应 该 尽量 减少 有 连接 的 查询 ， 连 接 的 表 的 个 数 不 能 太 多 ， 连 接 的 表 建 议 控制 在 4 个 以 内 。 互 联网 应 
后 ， 连 接 的 低 效率 问题 就 暴露 出 来 了 ， 成 为 整个 系统 的 瓶颈 所 在 。 所 以 对 于 数据 库 应 


由 于 连接 的 成 本 比较 高 ， 因 此 对 于 高 并 发 的 应 
连接 的 开销 不 大 ， 这 个 时 候 一 般 不 会 有 性 能 问题 ， 但 当 数 据 量变 大 之 
的 一 些 查询 ， 进 行 反 范 式 设计 减少 连接 的 表 ， 或 者 考虑 在 应 用 层 进行 连接 。 


查询 “SELECT B.*,A.*FROM B JOIN A ON 


优化 连接 的 一 些 要 点 如 下 。 


1) ON、USING 子 句 中 的 列 确认 有 索引 。 如 果 优 化 器 选 
B.col1=A.col2;” 语 句 MySQL 会 全 表 扫 描 B 表 ， 对 B 表 的 每 一 行 记录 探测 A 表 的 记录 ( 利 


泽 了 连接 的 顺序 为 B、A， 那 么 我 们 只 需要 在 A 表 的 列 上 创建 索引 即 可 。 例 如 ， 对 了 
A 表 col2 列 上 的 索引 ) 。 


2) 最 好 是 能 转化 为 INNER JOIN，LEFT JOIN 的 成 本 比 INNER JOIN 高 很 多 。 
L 千 ， 上 万 ， 那 么 就 需要 考虑 是 否 索引 不 佳 或 连接 表 的 顺序 不 当 。 


EXPLAIN 检 查 连接 ， 留 意 EXPLAIN 输 出 的 rows 列 ， 如 果 rows 列 太 高 ， 比 如 几 


3) 使 


4) 反 范 式 设计 ， 这 样 可 以 减少 连接 表 的 个 数 ， 加 快 存 取 数 据 的 速度 。 
后 根据 一 定 的 条 件 去 获取 完整 的 数据 ， 这 样 做 往往 是 


后 再 遍历 此 结果 集 ， 最 
取 。 例 如 ， 对 于 如 下 的 查询 : 


5) 考虑 在 应 用 层 实现 连接 。 


对 于 一 些 复杂 的 连接 查询 ， 更 值得 推荐 的 做 法 是 将 它 分 解 为 几 个 简 生 
门 把 数据 分 离 了 ， 更 不 容易 发 生变 化 ， 更 方便 缓存 数据 ， 数 据 也 可 以 按照 设计 的 需要 从 缓存 或 数据 库 中 进行 获 


的 查询 ， 可 以 先 执行 查询 以 获得 一 个 较 小 的 结果 集 ， 然 


更 高 效 的 ， 因 为 我 人 


ta 910 Liyl2r13714r15, 15; 17)3 
1， 把 IN 


SELECT a.* FROM a WHERE a.id IN 
p 么 我 们 只 需要 到 数据 库 查询 “SELECT a.*FROM a WHERE a.id=16” 和 “SELECT a.*FROM a WHERE a.id=17” 了 。 而 目 


如 果 id=1~15 的 记录 已 经 被 存储 在 缓存 (如 Memcached) 中 了 ,局 


列表 分 解 为 等 值 查找 ， 往 往 可 以 提高 性 能 。 


屋 实现 连接 将 是 更 好 的 选择 。 


访问 不 同 的 数据 库 实 例 ， 这 种 情况 下 ， 在 应 


6) 一 些 应 用 可 能 需 


6.2.2 GROUP BY、DISTINCT、ORDER BY 语句 优化 
GROUP BY、DISTINCT、ORDER BY 这 几 类 子 句 比较 类 似 ，GROUP BY 默认 也 是 要 进行 ORDER BY 排序 的 ， 笔 者 在 本 书 中 把 它们 归 为 一 类 ， 优 化 的 思路 也 是 类 似 的 。 可 以 考虑 的 优化 方式 如 下 。 


“ 尽量 对 较 少 的 行进 行 排序 。 
如 果 连 接 了 多 张 表 ，ORDER BY 的 列 应 该 属于 连接 顺序 的 第 一 张 表 。 
利用 索引 排序 ， 如 果 不 能 利用 索引 排序 ， 那 么 EXPLAIN 查 询 语 句 将 会 看 到 有 filesort。 


GROUP BY、ORDER BY 语句 参考 的 列 应 该 尽量 在 一 个 表 中 ， 如 果 不 在 同一 个 表 中 ， 那 么 可 以 考虑 宛 余 一 些 列 ， 或 者 合并 表 。 


需要 保证 索引 列 和 ORDER BY 的 列 相 同 ， 且 各 列 均 按 相同 的 方向 进行 排序 。 


局 变量 设置 为 较 大 的 值 ， 因 为 每 个 需 


区 ， 因 此 不 要 将 


“增加 sort_buffer_size。 


sort_buffer_size 是 为 每 个 排序 线程 分 配 的 缓冲 区 的 大 小 。 增 加 该 值 可 以 加 快 ORDER BY 或 GROUP BY 操作 。 但 是 ， 这 是 为 每 个 客户 端 分 配 的 缓冲 


要 排序 的 连接 都 会 分 配 sort_buffer_size 大 小 的 内 存 。 


因此 你 不 应 将 全 局 变量 


' 增加 tread_rnd_buffer_ size。 


区 读 取 行 ， 从 而 避免 搜索 硬盘 。 将 该 变量 设置 为 较 大 的 值 可 以 大 大 改进 ORDER BY 的 性 能 。 但 是 ， 这 是 为 每 个 客户 端 分 配 的 缓冲 区 ， 


行 时 ， 通 过 该 缓冲 


当 按 照排 序 后 的 顺序 读 
为 需要 运行 大 查询 的 


设置 为 较 大 的 值 。 相 反 ， 只 


“ 改变 tmpdir 变 量 指向 基于 内 存 的 文件 系统 或 其 他 更 快 的 磁盘 。 
启 时 将 要 被 清空 的 目录 。 因 


， 那 么 不 应 将 “--tmpdir” 设 置 为 指向 基于 内 存 的 文件 系统 的 目录 ， 或 者 当 服 务 器 主机 本 
启 时 丢失 了 临时 文件 目录 下 的 文件 ， 那 么 复制 将 会 失败 。 


客户 端 更 改 会 话 变量 即 可 。 


为 ， 对 于 复制 从 服务 器 ， 需 要 在 机 器 


如 果 MySQL 服 务 器 正 作 为 复制 从 服务 器 被 使 
量 启 时 仍然 保留 一 些 临 时 文件 ， 以 便 能 够 复制 临时 表 或 执行 LOAD DATA INFILE 操 作 。 如 果 在 服务 器 本 


中 | 


“ 指定 ORDER BY NULL。 


旨 定 ORDER BY NULL。 例 如 : 


的 消耗 ， 可 以 


默认 情况 下 ，MySQL 将 排序 所 有 GROUP BY 的 查询 ， 如 果 想 要 避免 排序 结果 所 产 和 4 


SELECT count (*) cnt, cluster id FROM stat GROUP BY cluster id ORDER BY NULL LIMIT 10; 


屋 实 现 这 个 功能 ， 这 样 往往 会 更 高 效 ， 伸 缩 性 也 更 佳 。 


: 优化 GROUP BY WITH ROLLUP。 
GROUP BY WITH ROLLUP 可 以 方便 地 获得 整体 分 组 的 聚合 信息 (super aggregation) ， 但 如 果 存 在 性 能 问题 ， 可 以 考虑 在 应 


' 使 用 非 GROUP BY 的 列 来 代替 GROUP BY 的 列 。 
比如 ， 原 来 是 “GROUP BY xx_name,yy_ name”， 如 果 GROUP BY xx_id 可 以 得 到 一 样 的 结果 ， 那 么 使 用 GROUP BY xx_id 也 是 可 行 的 。 


“ 可 以 考虑 使 用 Sphinx 等 产品 来 优化 GROUP BY 语句 ， 一 般 来 说 ， 它 可 以 有 更 好 的 可 扩展 性 和 更 佳 的 性 能 。 


6.2.3 ”优化 子 查询 


由 于 子 查询 的 可 读 性 比较 好 ， 所 以 有 些 研发 人 员 习 惯 于 编写 子 查询 ， 特 别 是 刚 接触 数据 库 编程 的 新 手 。 但 子 查询 往往 也 是 性 能 杀手 ， 在 生产 环境 中 ， 子 查询 是 最 常见 的 导致 性 能 问题 的 症结 所 在 。 


对 于 数据 库 来 说， 在 绝 大 部 分 情况 下 ， 连 接 会 比 子 查询 更 快 。 使 用 连接 的 方式 ，MySQL 优 化 器 一 般 可 以 生成 更 佳 的 执行 计划 ， 可 以 预先 装载 数据 ， 更 高 效 地 处 理 查询 。 而 子 查询 往往 需要 运行 重复 的 查 
询 ， 子 查询 生成 的 临时 表 上 也 没有 索引 ， 因 此 效率 会 更 低 。 


一 些 商业 数据 库 已 经 可 以 智能 地 识别 子 查询 ， 转 化 子 查询 为 连接 查询 ， 或 者 转化 连接 为 子 查询 。 这 种 情况 下 ， 编 写 子 查询 也 许 是 更 好 的 方式 ， 毕 竟 更 符合 人 的 思考 方式 ， 也 能 避免 因为 重复 记录 的 匹配 
导致 连接 结果 集 的 异常 。 但 MySQL 对 于 子 查询 的 优化 一 直 不 佳 ， 就 目前 的 研发 实践 来 说 ， 子 查询 应 尽量 改写 成 JOIN 的 写法 。 如 果 我 们 不 能 确定 是 否 要 使 用 连接 的 方式 ， 那 么 可 以 使 用 EXPLAIN 语 法 查看 语 
句 具 体 的 执行 计划 。 


如 下 是 一 个 带子 查询 的 语句 。 


SELECT DISTINCT column1 FROM tl WHERE tl1.columnl IN ( SELECT column1l FROM t2); 


普通 的 子 查询 一 般 都 可 以 转化 为 连接 的 方式 。 上 面 的 例子 可 以 转化 为 如 下 的 写法 。 


SELECT DISTINCT tl1.column1 FROM tl1，t2 WHERE tl1.column1l = t2.columnl; 


如 下 的 两 个 查询 是 等 价 的 。 


SELECT * FROM tl WHERE id NOT IN (SELECT id FROM t2); 
SELECT * FROM t1 WHERE NOT EXISTS (SELECT id FROM t2 WHERE t1.id=t2.id); 


还 可 以 改写 成 如 下 LEFT JOIN 的 形式 。 


SELECT tablel.* 
FROM tablel LEFT JOIN table2 ON tablel.idq=table2.id 
WHERE table2.id IS NULL; 


下 面 再 举 一 些 例子 。 


把 子 句 从 子 查询 的 外 部 转移 到 内 部 。 例 如 ， 把 此 查询 : 


SELECT * FROM tt1 
WHERE sl IN (SELECT sl FROM tl) OR sl IN (SELECT sl FROM t2); 


转化 成 如 下 的 写法 : 


SELECT * FROM t1 
WHERE sl IN (SELECT sl FROM tl UNION ALL SELECT sl FROM t2); 


将 此 查询 : 


SELECT (SELECT column1 FROM t1) + 5 FROM t2; 


转化 成 如 下 的 写法 : 


SELECT (SELECT column1l + 5 FROM t1) FROM t2; 


将 此 查询 : 


SELECT * FROM t1 
WHERE EXISTS (SELECT * FROM t2 WHERE t2.column1=t1.column1l 
AND t2.column2=t1 .column2); 


转化 成 如 下 的 写法 ， 使 用 行 子 查询 来 代 蔡 关 联 子 查询 : 


SELECT * FROM t1 
WHERE (column1l,column2) IN (SELECT column1, column2 FROM t2) 


对 于 只 返回 一 行 的 无 关联 子 查询 ，IN 的 速度 慢 于 “=”。 


将 此 查询 : 


SELECT * FROM tl WHERE tl1.col_name 
IN (SELECT a FROM t2 WHERE b = some_ const); 


转化 成 如 下 的 写法 : 


SELECT * FROM tl WHERE t1.col name 
= (SELECT a FROM t2 WHERE b = some const); 


MySQL 优 化 器 这 些 年 来 一 直 都 在 改进 ，MySQL 后 续 版 本 对 于 子 查询 也 有 了 更 多 改进 。 读 者 可 以 参考 如 下 链接 : 


http://dev.MySQL.com/doc/refman/5.6/en/subquery-optimization.html 


http://dev.MySQL.com/doc/refman/5.7/en/subquery-optimization.html 


6.2.4 优化 limit 子 句 


Web 应 用 经 常 需要 对 查询 的 结果 进行 分 页 ， 分 页 算法 经 常 需要 用 到 “LIMIT offset,row_count ORDER BY col_ id” 之 类 的 语句 。 一 旦 offset 的 值 很 大 ， 效 率 就 会 很 差 ， 因 为 MySQL 必 须 检 索 大 量 的 记录 
(offset+row_count) ， 然 后 丢弃 大 部 分 记录 。 


可 供 考虑 的 优化 办 法 有 如 下 4 点 。 


1) 限制 页 数 ， 只 显示 前 几 页 ， 超 过 了 一 定 的 页 数 后 ， 直 接 显示 “更 多 (more) ”， 一 般 来 说 ， 对 于 N 页 之 后 的 结果 ， 用 户 一 般 不 会 关心 。 


2) 要 避免 设置 offset 值 ， 也 就 是 避免 丢弃 记录 。 


例如 以 下 的 例子 ， 按 照 id 排序 (id 列 上 有 索引 ) ， 通 过 增加 一 个 定位 的 列 “id>990”， 可 以 避免 设置 offset 的 值 。 


SELECT id, name, address, phone 
FROM customers 

WHERE id > 990 

ORDER BY id LIMIT 10; 


也 可 以 使 用 条 件 限制 要 排序 的 结果 集 ， 如 可 以 这 样 使 用 。 


WHERE date time BETWEEN “2014-04-01 00:00:00” AND “2014-04-02 00:00:00” ORDER BY id 


对 条 件 值 可 以 进行 估算 ， 对 于 几 百 上 王 页 的 检索 ， 往 往 不 需要 很 精确 。 也 可 以 专门 增加 宛 余 的 列 来 定位 记录 ， 比 如 如 下 的 查询 ， 有 一 个 page 列 ， 指 定 记录 所 在 的 页 ， 代 价 是 在 修改 数据 的 时 候 需要 维护 
这 个 列 的 数据 ， 如 下 面 的 查询 。 


SELECT id, name, address, phone 
FROM customers 

WHERE page = 100 

ORDER BY name; 


3) 使 用 Sphinx。 


4) 使 用 INNER JOIN。 


以 下 的 例子 中 ， 先 按照 索引 排序 获取 到 id 值 ， 然 后 再 使 用 JOIN 补充 其 他 列 的 数据 。customers 表 的 主键 列 是 id 列 ，name 列 上 有 索引 ， 由 于 “SELECT id FROM customers…” 可 以 用 到 覆盖 索引 ， 所 以 
效率 尚 可 。 


SELECT id, name, address, phone 
FROM customers 

INNER JOIN ( 

SELECT id 

FROM customers 

ORDER BY name 

LIMIT 999,10) 

AS my_results USING(id); 


6.2.5 ”优化 IN 列表 


对 于 IN 列表 ，MySQL 会 排序 IN 列表 里 的 值 ， 并 使 用 二 分 查找 (Binary Search) 的 方式 去 定位 数据 。 


把 IN 子 句 改写 成 OR 的 形式 并 不 能 提高 性 能 。 以 笔者 个 人 的 经 验 ，IN 列 表 不 宜 过 长 ， 最 好 不 要 超过 200。 对 于 高 并 发 的 业务 ， 小 于 几 十 为 佳 。 


如 果 能 够 将 其 转化 为 多 个 等 于 的 查询 ， 那 么 这 种 方式 会 更 优 。 例 如 如 下 这 个 查询 。 


SELECT * FROM table a WHERE id IN (SELECT id FROM table b); 


我 们 可 以 先 查 询 SELECT id FROM table_b， 然 后 把 获取 到 的 id 值 ， 逐 个 地 和 “SELECT*FROM table_a” 进 行 拼接 ， 转 化 为 “SELECT id FROM table_ a WHERE id=?” 的 形式 。 这 个 操作 用 程序 来 实 
现 其 实 是 很 容易 的 。 


6.2.6 优化 UNION 


UNION 语 句 默 认 是 移 除 重复 记录 的 ， 需 要 用 到 排序 操作 ， 如 果 结 果 集 很 大 ， 成 本 将 会 很 高 ， 所 以 ， 建 议 尽 量 使 用 UNION ALL 语 句 。 对 于 UNION 多 个 分 表 的 场景 ， 应 尽 可 能 地 在 数据 库 分 表 的 时 候 ， 就 
确定 各 个 分 表 的 数据 是 唯一 的 ， 这 样 就 无 须 使 用 UNION 来 去 除 重复 的 记录 了 。 


另外 ， 查 询 语句 外 层 的 WHERE 条 件 ， 并 不 会 应 用 到 每 个 单独 的 UNION 子 名 内， 所以， 应 在 每 一 个 UNION 子 句 中 添加 上 WHERE 条 件 ， 从 而 尽 可 能 地 限制 检索 的 记录 数 。 


6.2.7 ”优化 带 有 BLOB、TEXT 类 型 字段 的 查询 


由 于 MySQL 的 内 存 | 临时 表 不 支持 BLOB、TEXT 类 型 ， 如 果 包 含 BLOB 或 TEXT 类 型 列 的 查询 需要 用 到 临时 表 ， 就 会 使 用 基于 磁盘 的 临时 表 ， 性 能 将 会 急剧 降低 。 所 以 ， 编 写 查询 语句 时 ， 如 果 没有 必要 包 
含 BLOB、TEXT 列 ， 就 不 要 写 入 查询 条 件 。 


规避 BLOB、TEXT 列 的 办 法 有 如 下 两 种 。 


1) 使 用 SUBSTRING() 函 数 。 


2) 设置 MySQL 变 量 tmpdir， 把 临时 表 存 放 在 基于 内 存 的 文件 系统 中 。 如 Linux 下 的 tmpfs。 可 以 设置 多 个 临时 表 的 路 径 (用 分 号 分 隔 ) ，MySQL 将 使 用 轮 询 的 方式 。 


优化 的 办 法 有 如 下 3 种 。 


1) 如 果 必 须 使 


可 以 考虑 拆 分 表 ， 把 BLOB、TEXT 字 段 分 离 到 单独 的 表 。 


2) 如 果 有 许多 大 字段 ， 可 以 考虑 合并 这 些 字段 到 一 个 字段 ， 存 储 一 个 大 的 200KB 比 存储 20 个 10KB 更 高 效 。 


3) 考虑 使 用 COMPRESS(0， 或 者 在 应 用 层 进 行 压缩 ， 再 存储 到 BLOB 字 段 中 。 


Ot 总 如 果 BLOB 列 很 大 ， 可 能 需要 增 大 innodb_log_file_size (MySQL 错 误 日 志 内 可 能 会 提示 事务 日 志 小 了 ) 。 


6.2.8 filesort 的 优化 


有 时 我 们 使 用 EXPLAIN 工 具 ， 可 以 看 到 查询 计划 的 输出 中 的 Extra 列 有 filesort。filesort 往 往 意味 着 你 没有 利用 到 索引 进行 排序 。filesort 的 字面 意思 可 能 会 导致 混淆 ， 它 和 文件 排序 没有 任何 关系 ， 可 以 
理解 为 不 能 利用 索引 实现 排序 。 


排序 一 个 带 JOIN (连接 ) 的 查询 ， 如 果 ORDER BY 子 句 参考 的 是 JOIN 顺序 里 的 第 一 张 表 的 列 且 不 能 利用 索引 进行 排序 ， 那 么 MySQL 会 对 这 个 表 进 行文 件 排序 (filesort) ，EXPLAIN 输 出 中 的 Extra 列 
就 有 filesort。 如 果 排 序 的 列 来 自 于 其 他 的 表 ， 且 需要 临时 文件 来 帮助 排序 ， 那 么 EXPLAIN 输 出 的 Extra 列 就 有 “Using temporary;Using filesort” 字 样 。 对 于 MySQL 5.1， 如 果 有 LIMIT 子 句 ， 那 么 是 在 
filesort 之 后 执行 LIMIT 的 ， 这 样 做 效率 可 能 会 很 差 ， 因 为 需要 排序 过 多 的 记录 。 


1. 两 种 filesort 算 法 


MySQL 有 两 种 filesort 算 法 : two-pass 和 single-pass。 


(1) two-pass 


这 是 旧 的 算法 。 列 长 度 之 和 超过 max_length_for sort_data 字 节 时 就 使 用 这 个 算法 ， 其 原理 是 : 先 按 照 WHERE 筛 选 条 件 读 取 数 据 行 ， 并 存储 每 行 的 排序 字段 和 行 指针 到 排序 缓冲 (sort buffer) 。 如 
果 排 序 缓冲 大 小 不 够 ， 就 在 内 存 中 运行 一 个 快速 排序 (quick sort) 操作 ， 把 排序 结果 存储 到 一 个 临时 文件 里 ， 用 一 个 指针 指向 这 个 已 经 排序 好 了 的 块 。 然 后 继续 读 取 数据 ， 直 到 所 有 行 都 读 取 完毕 为 止 。 
这 是 第 一 次 读 取 记录 。 


然后 合并 如 上 的 临时 文件 ， 进 行 排序 。 


然后 依据 排序 结果 再 去 读 取 所 需要 的 数据 ， 读 入 行 缓冲 (row buffer， 由 read_rnd_buffer_size 参 数 设 定 其 大 小 ) 。 这 是 第 二 次 读 取 记录 。 


以 上 第 一 次 读 取 记录 时 ， 可 以 按照 索引 排序 或 表 扫描 ， 可 以 做 到 顺序 读 取 。 但 第 二 次 读 取 记 录 时 ， 虽 然 排序 字段 是 有 序 的 ， 行 缓冲 里 存储 的 行 指针 是 有 序 的 ， 但 所 指向 的 物理 记录 需要 随机 读 ， 所 以 这 
个 算法 可 能 会 带 来 很 多 随机 读 ， 从 而 导致 效率 不 佳 。 


缺点 : 需要 读 取 记 录 两 次 ， 第 二 次 读 取 时 ， 可 能 会 产生 许多 随机 MVO， 成 本 可 能 会 比较 高 。 


(2) single-pass 


MySQL 一 般 使 用 这 种 算法 。 其 原理 是 : 按 筛选 条 件 ， 把 SQL 中 涉及 的 字段 全 部 读 入 排序 缓冲 中 ， 然 后 依据 排序 字段 进行 排序 ， 如 果 排 序 缓冲 不 够 ， 则 会 将 临时 排序 结果 写 入 到 一 个 临时 文件 中 ， 最 后 合 
并 临时 排序 文件 ， 直 接 返 回 已 经 排序 好 的 结果 集 。 


优点 : 不 需要 读 取 记 录 两 次 ， 相 对 于 two-pass， 可 以 减少 MO 开销 。 
缺点 : 由 于 要 读 入 所 有 字段 ， 排 序 缓冲 可 能 不 够 ， 需 要 额外 的 临时 文件 协助 进行 排序 ， 导 致 增加 额外 的 /O 成 本 。 
2. 相 关 参 数 的 设置 和 优化 


相关 参数 如 下 。 


max_length_ for_ sort_data: 如 果 各 列 长 度 之 和 (包括 选择 列 、 排 序列 ) 超过 了 max_length_for sort_data 字 节 ， 那 么 就 使 用 two-pass 算 法 。 如 果 排 序 BLOB、TEXT 字 段 ， 使 用 的 也 是 two-pass 算 
法 ， 那 么 这 个 值 设 置 得 太 高 会 导致 系统 MO 上 升 ，CPU 下 降 ， 建 议 不 要 将 max_length_for_sort_data 设 置 得 太 高 。 


max_sort_ length: 如 果 排 序 BLOB、TEXT 字 段 ， 则 仅 排 序 前 max_sort_length 个 字 节 。 
可 以 考虑 的 优化 方向 如 下 。 


"加 大 sort_buffer_size。 


一 般 情况 下 使 用 默认 的 single-pass 算 法 即 可 。 可 以 考虑 加 大 sort_buffer_size 以 减少 I/O。 


需要 留意 的 是 字段 长 度 之 和 不 要 超过 max_length_for_sort_data， 只 查询 所 需要 的 列 ， 注 意 列 的 类 型 、 长 度 。MySQL 目 前 读 取 和 计算 列 的 长 度 是 按照 定义 的 最 大 的 度 进行 的 ， 所 以 在 设计 表 结 构 的 时 
候 ， 不 要 将 VARCHAR 类 型 的 字段 设置 得 过 大 ， 虽 然 对 于 VARCHAR 类 型 来 说 ， 在 物理 磁盘 中 的 实际 存储 可 以 做 到 紧凑 ， 但 在 排序 的 时 候 ， 是 会 分 配 最 大 定义 的 长 度 的 ， 有 时 排序 阶段 所 产生 的 临时 文件 甚至 
比 原 始 表 还 要 大 。MySQL 5.7 版 本 在 这 方面 做 了 一 些 优化 ， 有 兴趣 的 同学 可 以 参考 http://dev.MySQL.com/doc/refman/5.7/en/order-by-optimization.html 


“ 对 于 two-pass 算 法 ， 可 以 考虑 增 大 read_rnd_buffer_size， 但 由 于 这 个 全 局 变量 是 对 所 有 连接 都 生效 的 ， 因 此 建议 只 在 会 话 级 别 进行 设置 ， 以 加 速 一 些 特殊 的 大 操作 。 


“ 在 操作 系统 层面 ， 优 化 临时 文件 的 读 写 。 


6.2.9 优化 SQL CALC FOUND_ROWS 


建议 不 要 使 用 SQL_ CALC_FOUND_ROWS 这 个 提示 ， 虽 然 它 可 以 让 开发 过 程 变 得 简单 一 些 ， 但 并 没有 减少 数据 库 所 做 的 事情 。 例 如 以 下 这 个 查询 。 


SELECT SQL CALC FOUND ROWS col name FROM table name where http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... LIMIT N 


它 使 用 LIMIT 子 句 限制 了 返回 记录 数 ， 但 实际 上 数据 库 仍 然 需要 扫描 大 量 记录 以 找到 符合 查询 条 件 的 所 有 记录 。 这 是 一 个 成 本 昂贵 的 操作 。 如 果实 在 需要 使 用 的 话 ， 建 议 使 用 独立 的 语句 SELECT 
COUNT (*) ， 这 样 做 将 会 更 高 效 。 


一 些 统计 值 ， 如 果 可 以 缓存 的 话 ， 那 么 缓存 之 更 好 。 现 实 应 用 中 ， 有 时 并 没有 必要 显示 记录 的 总 数 ， 或 者 不 要 求 精确 性 ， 这 时 我 们 应 该 尽量 减少 这 种 消耗 资源 的 查询 。 


6.2.10 ”优化 临时 表 


如 果 不 能 利用 索引 排序 ， 那 么 我 们 在 MySQL 中 可 能 需要 创建 一 个 临时 表 用 于 排序 。 MySQL 的 临时 表 分 为 “内 存 临 时 表 ” 和 “磁盘 临时 表 ”， 其 中 ， 内 存 临 时 表 使 用 MySQL 的 MEMORY 存 储 引 警 。 磁 
盘 临 时 表 使 用 MySQL 的 MylISAM 存 储 引 擎 ; 一 般 情 况 下 ，MySQL 会 先 创建 内 存 临 时 表 ， 但 当 内 存 临 时 表 超 过 配置 参数 指定 的 值 后 ，MySQL 会 将 内 存 临 时 表 导 出 到 磁盘 临时 表 。 


触发 以 下 条 件 ， 会 创建 临时 表 。 


* ORDER BY 子 句 和 GROUP BY 子 句 引用 的 列 不 一 样 。 
: 在 连接 查询 中 ，ORDER BY 或 GROUP BY 使 用 的 列 不 是 连接 顺序 中 的 第 一 个 表 。 


“ORDER BY 中 使 用 了 DISTINCT 关 键 字 。 


通过 EXPLAIN 的 Extra 列 可 以 查看 是 否 用 到 了 临时 表 : “Using temporary” 表 示 使 用 了 临时 表 。 


如 果 查 询 创建 了 临时 表 (in-memory table) 来 排序 或 检索 结果 集 ， 分 配 的 内 存 大 于 tmp_table_size 与 max_heap_table_size 参 数 之 间 的 最 小 值 ， 那 么 内 存 临 时 表 就 会 转换 为 磁盘 临时 表 (on-disk 


table) ，MySQL 会 在 磁盘 上 创建 磁盘 临时 表 ， 这 样 会 可 能 导致 O 瓶 巴 ， 进 而 影响 性 能 。 


“ tmp_table_size: 指定 系统 创建 的 内 存 临时 表 的 最 大 大 小 。 


* max_heap_table_size: 指定 用 户 创建 的 内 存 表 的 最 大 大 小 。 


SHOW FULL PROCESSLIST 命 令 输 出 的 state 列 为 “Converting heap to MylISAM” 时 表明 临时 表 大 于 我 们 所 设置 的 参数 值 ， 此 时 将 会 产生 磁盘 临时 表 ， 但 是 数据 库 执行 查询 往往 很 快 ， 


heap to MylSAM” 这 个 状态 不 一 定 能 及 时 被 看 到 ， 我 们 需要 关注 Created tmp_tables 和 Created tmp_disk_tables 这 两 个 变量 的 变化 。 由 于 MySQL 慢 查询 日 志 里 没有 使 


性 能 问题 带 来 了 一 些 不 便 ， 第 三 方 的 版 本 如 Percona Server， 在 慢 查 询 里 可 以 有 更 详细 的 信息 ， 将 会 记录 临时 表 使 用 的 情况 ， 从 而 有 助 于 我 们 诊断 和 调 优 。 


如 下 情况 也 可 能 会 导致 使 用 到 磁盘 临时 表 。 


. 表 中 有 BLOB 或 TEXT 字段 。 


“ 使 用 UNION 或 UNION ALL 时 ，SELECT 子 句 中 包含 了 大 于 512 字 节 的 列 。 


使 用 临时 表 一 般 意 味 着 性 能 会 比较 低 ， 特 别 是 使 用 磁盘 | 临时 表 时 ， 性 能 将 会 更 慢 ， 因 此 我 们 在 实际 应 用 中 应 该 尽量 避免 临时 表 的 使 用 。 
常见 的 避免 临时 表 的 方法 有 如 下 3 点 。 


“ 创建 索引 : 在 ORDER BY 或 GROUP BY 的 列 上 创建 索引 。 


' 分 拆 长 的 列 : 一 般 情 况 下 ，TEXT、BLOB ， 大 于 512 字 节 的 字符 串 ， 基 本 上 都 是 为 了 显示 信息 ， 而 不 会 用 于 查询 条 件 ， 因 此 设计 表 的 时 候 ， 可 以 考虑 将 这 些 列 分 离 到 另外 一 张 表 中 。 


' 不 需要 用 DISTINCT 时 就 没 必 要 用 DISTINCT， 能 用 UNION ALL 就 不 要 用 UNION。 


6.3 ”OLAP 业 务 优化 


“Converting 


临时 表 的 信息 ， 这 就 给 我 们 诊断 


由 于 MySQL 对 于 复杂 SQL 的 优化 不 佳 ， 所 以 对 于 一 些 OLAP 的 应 用 需要 格外 小 心 ， 在 前 期 就 做 好 一 些 针对 性 的 设计 ， 以 尽量 避免 数据 量 剧 增 后 碰 到 性 能 问题 。 关 于 SQL 查 询 、 索 引 优 化 ， 这 里 就 不 再 歼 


述 了 。 下 面 主要 说 下 OLAP 类 型 的 业务 需要 考虑 的 一 些 要 点 。 


(1) 使 用 匈 余数 据 


有 时 最 好 的 办 法 是 在 表 中 保存 匈 余 的 数据 ， 虽 然 这 些 匈 余数 据 有 时 也 可 以 由 其 他 的 列 推断 得 出 。 宛 余数 据 可 以 让 查询 执行 得 更 快 。 比 如 ,我们 可 以 增加 一 个 专门 的 计数 表 或 计数 字段 ， 实 时 更 新 计数 信 


息 。 比 如 ， 大 表 之 间 的 连接 操作 很 耗 时 ， 增 加 宛 余 字 段 则 可 以 有 效 地 减少 连接 的 表 的 个 数 。 


(2) 计算 复 用 ， 使 用 缓存 表 


我 们 可 以 使 用 缓存 表 存 储 一 些 结果 ， 这 里 所 说 的 “缓存 表 ” ， 意 思 是 这 些 值 在 逻辑 上 是 宛 余 的 ， 可 以 从 原始 表 中 获取 到 ， 但 显然 从 原始 表 中 获取 数据 更 慢 。 


(3) 预计 算 


预先 对 一 些 常用 的 大 查询 生成 汇总 表 。 我 们 需要 有 这 样 一 个 意识 ， 如 果 你 需要 处 理 大 量 数据 ， 一 般 需要 昂贵 的 计算 成 本 。 所 以 预计 算 往往 是 值得 考虑 的 好 方法 。 我 们 可 以 把 查询 结果 存储 到 独立 的 汇总 


表 中 ， 或 者 可 以 把 相关 联 的 表 的 一 些 字段 存放 在 一 个 独立 的 新 表 中 ， 基 于 这 个 新 的 汇总 表 去 做 统计 。 


当 我 们 使 用 缓存 表 和 汇总 表 时 ， 我 们 要 做 出 决定 : 是 实时 更 新 数据 还 是 定期 更 新 ， 这 依赖 于 你 的 应 用 。 


当 我 们 实时 或 定期 重建 缓存 表 、 汇 总 表 的 时 候 ， 我 们 需要 数据 在 操作 的 时 间 范 围 内 仍然 可 用 。 我 们 可 以 采用 一 种 “影子 表 ” 的 方法 ， 即 建立 一 个 临时 表 ， 在 建立 好 之 


作 ， 实 现 切 换 。 


如 下 是 重 命名 表 ， 实 现 表 切 换 的 一 个 例子 。 


mysql> DROP TABLE IF EXISTS my summary new, my_summary old; 
mysql> CREATE TABLE my summary new LIKE my_summary; 
mysql> RENAME TABLE my summary TO my_summary old, my_summary new TO my_ summary; 


我 们 保留 my_summary_old 表 ， 用 于 以 后 进行 回 滚 ， 可 以 一 直 保 留 到 下 次 操作 。 


以 上 的 方式 ， 增 加 了 写 操作 和 维护 的 工作 ， 但 要 想 获 得 更 高 的 性 能 ， 往 往 是 需要 付出 一 定 代价 的 。 通 过 这 些 方法 可 以 极 大 地 加 速 读 操作 ， 虽 然 要 承担 写 操作 更 慢 的 代价 。 


(4) 统计 框架 的 改善 


需要 将 一 个 复杂 的 查询 任务 放 在 一 个 SQL 查询 中 来 完成 ， 往 往 会 导致 性 能 问题 ， 使 用 这 种 方式 最 常见 的 原因 是 你 正在 使 用 一 个 编程 框架 或 一 个 可 视 化 组 件 库 直接 和 数 和 


数据 ， 简 单 的 商务 智能 和 报表 工具 都 属于 这 一 分 类 。 


一 些 报表 框架 ， 如 果 表 设计 不 佳 ， 那 么 随 着 数据 量 的 增加 ， 数 据 库 将 越 来 越 力不从心 ， 难 以 适应 复杂 的 查询 。 组 件 或 报表 工具 通常 假设 单个 查询 仅仅 只 用 来 完成 一 个 简 和 


庞大 的 查询 来 生成 报告 中 的 所 有 数据 。 如 果 你 使 用 某 个 这 样 的 报表 程序 ， 就 可 能 被 这 去 写 一 个 复杂 的 SQL 查询 ， 而 没有 机 会 写 代码 操作 结果 集 。 


后 ， 通 过 原子 性 地 和 


居 源 相连 ， 然 后 在 程序 里 直接 


命名 表 的 操 


展示 


的 任务 。 但 它 鼓励 你 去 设计 更 


如 果 报表 需求 太 复 杂 ， 不 能 用 单个 SQL 查询 来 完成 ， 那 么 更 好 的 方案 可 能 就 是 生成 多 个 报表 、 增 加 一 些 限 制 条 件 。 有 时 我 们 想 从 多 个 维度 进行 各 种 组 合 得 出 报表 ， 但 是 ， 表 的 设计 往往 限制 了 这 种 可 能 
自己 综合 分 析 一 


性 ， 反 而 会 导致 复杂 的 查询 ， 甚 至 导致 发 布 查询 后 ， 长 时 间 无 法 得 到 响应 。 报 表 研 发 人 员 可 以 和 用 户 沟通 ， 限 制 一 些 查询 的 使 用 ， 引 导 用 户 培养 一 些 能 够 更 快 查询 数 拉 
些 报表 而 不 是 完全 借助 计算 机 系统 。 如 果 你 的 老板 不 喜欢 这 样 的 解决 方案 ， 那 么 要 提醒 他 报表 的 复杂 度 和 生成 报表 所 花 的 时 间 是 成 正比 的 。 


局 的 习惯 ,让 


台 b| 
Be 


Ou 一 般 MySQL 的 优化 有 两 个 方向 ， 一 个 是 让 SQL 语句 执行 得 更 快 ， 一 个 是 让 SQL 语句 做 更 少 的 事 。 比 如 ， 我 们 可 以 升级 硬件 让 SQL 跑 得 更 快 。 或 者 ， 我 们 可 以 把 小 批量 数据 的 排序 交 由 应 用 程序 
去 执行 ，MySQL 不 做 排序 计算 。 类 似 的 方法 有 很 多 ， 但 基本 不 外 乎 这 两 个 方向 。 


MySQL 的 查询 优化 器 比较 简单 ， 没 有 商业 数据 库 那 么 强大 和 每 能 ， 我 们 应 该 理解 MySQL 的 优化 器 限制 ， 按 优化 器 能 理解 的 方式 编写 SQL。 对 于 大 流量 的 业务 ， 应 该 尽量 保持 MySQL 查询 的 简单 性 ， 以 保 
证 尽 可 能 地 支持 更 高 的 并 发 。 现 实 中 ， 对 于 数据 库 流量 很 大 的 业务 ， 数 据 库 往往 已 经 退化 为 一 个 存储 数据 的 容器 ， 只 利用 它 最 高 效 的 核心 的 特性 。 


第 7 章 ”研发 规范 


本 章 将 为 读者 解读 一 份 研发 规范 。 为 了 更 好 地 协同 工作 和 确保 所 开发 的 应 用 尽 可 能 的 稳定 、 高 效 ， 建 立 一 套数 据 库 相关 的 研发 规范 是 很 有 必要 的 ， 虽 然 研发 规范 的 确立 和 推广 是 一 项 很 耗 时 的 工作 ， 但 
所 取得 的 收益 也 是 长 久 的 ， 它 可 以 让 研发 人 员 更 高 效 地 使 用 数据 库 ， 可 以 让 新 的 研发 人 员 尽 快 融入 研发 体系 ， 还 可 以 极 大 地 减少 DBA 和 研发 团队 、 测 试 团队 的 沟通 成 本 。 


如 果 DBA 需 要 建立 研发 规范 ， 建 议和 研发 团队 一 起 沟通 确定 ， 因 为 标准 的 实行 和 落地 ， 需 要 考虑 到 现 有 的 一 些 框架 、 语 言 和 习惯 ,而 旧 有 的 力量 往往 是 强大 的 。 不 同 的 人 背景 不 一 样 ， 看 待 事务 的 标准 
也 不 一 样 ， 自 然 就 会 有 理解 上 的 不 一 致 ， 我 们 应 该 尽 可 能 地 求 得 最 大 的 共识 。 


以 下 将 列举 下 一 些 研发 规范 ， 主 要 包括 命名 约定 、 索 引 、 表 设计 、SQL 语 句 、 升 级 /部 署 脚本 规范 、 数 据 架 构建 议 这 几 个 部 分 ， 以 供 读者 参考 。 这 些 规范 中 有 些 并 不 是 绝对 要 遵循 的 ， 需 要 依据 现实 情况 
进行 权衡 取舍 。 


7.1 命名 约定 


对 于 命名 ， 并 没有 很 严 苟 的 规定 ， 但 在 同一 个 应 用 中 ， 建 议 风 格 统一 。 


以 下 是 一 些 通用 的 法 则 ， 可 能 有 互相 冲突 的 地 方 ， 请 读者 自行 衡量 取舍 。 


“ 命名 应 有 意义 ， 以 使 用 方便 记忆 、 描 述 性 强 的 可 读 性 名 称 为 第 一 准则 ， 应 尽量 避免 使 用 缩写 或 代码 来 命名 。 传 统 的 使 用 缩写 或 代码 的 方法 是 出 于 一 些 历史 原因 ， 比 如 希望 节省 空间 、 尽 快 加 载 数据 
等 ， 但 随 着 硬件 的 快速 发 展 ， 目 前 来 说 这 么 做 的 意义 不 大 。 


: 数据 库 、 表 都 用 小 写 (尽量 不 要 使 用 除 下 划 线 、 小 写 英文 字母 之 外 的 其 他 字符 ， 如 果 要 用 下 划 线 ， 应 该 尽量 保持 一 致 的 风格 ) 。 
“ 索引 的 命名 以 idx_ 为 前 级 。 

“ 命名 不 要 过 长 (应 尽量 少 于 25 个 字符 ) 。 

“ 不 要 使 用 保留 字 。 

“ 注意 字段 类 型 的 一 致 性 、 命 名 的 一 致 性 ， 同 一 个 字段 在 不 同 的 表 中 也 应 是 相同 的 类 型 或 长 度 。 

“ 如果 同一 个 数据 库 下 有 不 同 的 应 用 模块 ， 则 可 以 考虑 对 表 名 用 不 同 的 前 缓 标识。 

“ 备份 表 时 加 上 时 间 标识 。 


:新建 库 必须 提供 库 名 ， 库 的 命名 规则 必须 契合 所 属 业务 的 特点 ， 新 建 库 必 须 说 明 需 要 授权 的 用 户 ， 若 要 新 建 用 户 ， 则 必须 提供 用 户 名 ， 用 户 命名 规则 要 契合 业务 。 


7.2 索引 


“ 建议 索引 中 的 字段 数量 不 要 超过 5 个 。 

“ 单 张 表 的 索引 数量 建议 控制 在 5 个 以 内 。 

“ 唯一 键 和 主键 不 要 重复 。 

“ 索引 字段 的 顺序 需要 考虑 字段 唯一 值 的 个 数 ， 选 择 性 高 的 字段 一 般 放 在 前 面 。 

:ORDER BY、GROUP BY、DISTINCT 的 字段 需要 放 在 复合 索引 的 后 面 ， 也 就 是 说 ， 复 合 索引 的 前 面部 分 用 于 等 值 查询 ， 后 面 的 部 分 用 于 排序 。 

“ 使 用 EXPLAIN 判 断 SQL 语 句 是 否 合理 使 用 了 索引 ， 尽 量 避 免 Extra 列 出 现 Using File Sort，Using Temporary。 

: UPDATE、DELETE 语 名 需要 根据 WHERE 条 件 添 加 索引 。 

“ 建议 不 要 使 用 “Jike%value” 的 形式 ， 因 为 MySQL 仅 支持 最 左前 缓 索引。 

“ 对 长 度 过 长 的 VARCHAR 字 段 (比如 网 页 地 址 ) 建立 索引 时 ， 需 要 增加 散 列 字段 ， 对 VARCHAR 使 用 散 列 算法 时 ， 散 列 后 的 字段 最 好 是 整 型 ， 然 后 对 该 字段 建立 索引 。 
: 存储 域名 地 址 时 ， 可 以 考虑 采用 反 向 存储 的 方法 ， 比 如 把 news.sohu.com 存 储 为 com.sohu.news， 方 便 在 其 上 构建 索引 和 进行 统计 。 


“ 合理 地 创建 复合 索引 ， 复 合 索引 (ab,O 可 以 用 于 “where a=?”、 “where a=?and b=?”、 “where a=?and b=?and c=?” 等 形式 ， 但 对 于 “where a=?” 的 查询 ， 可 能 会 比 仅 仅 在 a 列 上 创建 单列 索引 查询 要 
慢 ， 因 此 需要 在 空间 和 效率 上 达成 平衡 。 


“ 合理 地 利用 和 覆盖 索引 。 由 于 履 盖 索引 一 般 常 驻 于 内 存 中 ， 因 此 可 以 大 大 提高 查询 速度 。 


: 把 范围 条 件 放 到 复合 索引 的 最 后 ，WHERE 条 件 中 的 范围 条 件 (BETWEEN、<、<=、>、>=) 会 导致 后 面 的 条 件 使 用 不 了 索引 。 


7.3 ” 表 设 计 


“ 如 果 没 有 特殊 的 情况 ， 建 议 选 择 InnoDB 引擎 。 


“ 每 个 表 都 应 该 有 主键 ， 可 选择 自 增 字 段 ， 或 者 整 型 字段 。 使 用 UNSIGNED 整 型 可 以 增加 取 值 的 范围 。 例 外 的 情况 是 ， 一 些 应 用 会 频繁 地 基于 某 些 字段 进行 检索 ， 设 计 人 员 可 能 会 认为 这 些 字 段 /字段 
组 合 更 适合 做 主键 ， 因 为 它们 更 自然 、 更 高 效 。 


“ 尽量 将 字段 设置 成 NOT NULL。 如 果 没 有 特殊 的 理由 ， 建 议 将 字段 定义 为 NOT NULL。 如 果 将 字段 设置 成 一 个 空 字符 串 或 设置 成 0 值 并 没有 什么 不 同 ， 都 不 会 影响 到 应 用 逻辑 ， 那 么 就 可 以 将 这 个 字段 
设置 为 NOT NULL。NULL 值 的 存储 需要 额外 的 空间 ， 且 会 导致 比较 运算 更 为 复杂 ， 这 会 使 优化 器 更 难以 优化 SQL。 当 然 ， 是 否 设 置 为 NUIL 更 应 取决 于 你 的 业务 带 辑 ， 如 果 你 确实 需要 ， 那么 就 设置 它 允 许 
NULL 值 ，NULL 值 虽然 会 导致 比较 运算 更 加 复杂 ， 但 这 比 因 为 定义 了 NOT NUIL 上 默认 值 而 导致 应 用 逻辑 出 现 异 常 要 好 。 


“ 使 用 更 短小 的 列 ， 比 如 短 整 型 。 整 型 列 的 执行 速度 往往 更 快 。 


“ 考虑 使 用 重 直 分 区 。 比 如 ， 我 们 可 以 把 大 字段 或 使 用 不 频繁 的 字段 分 离 到 另外 的 表 中 ， 这 样 做 可 以 减少 表 的 大 小 ， 让 表 执行 得 更 快 。 我 们 还 可 以 把 一 个 频繁 更 新 的 字段 放 到 另外 的 表 中 ， 因 为 频繁 更 
新 的 字段 会 导致 MySQL Query Cache 里 相关 的 结果 集 频繁 失效 ， 可 能 会 影响 性 能 。 需 要 留意 的 一 点 是 ， 重 直 分 区 的 目的 是 为 了 优化 性 能 ， 但 如 果 将 字段 分 离 了 到 分 离 表 后 ， 又 经 常 需要 建立 连接 ， 那 可 能 就 会 
得 不 偿 失 了 ， 所 以 ， 我 们 要 确保 分 离 的 表 不 会 经 常 进 行 连 接 ， 这 时 ， 用 程序 进行 连接 是 一 个 可 以 考虑 的 办 法 。 


“ 存储 精确 浮 点 数 时 必须 使 用 DECIMAL 替代 FLOAT 和 DOUBLE。 

“ 建议 使 用 UNSIGNED 类 型 存储 非 负 值 。 

“ 建议 使 用 INT UNSIGNED 存 储 IPV4。 可 以 使 用 NET_ATON0、INET_NTOA0 函 数 进行 转换 ，PHP 里 也 有 类 似 的 函数 如 ip2long0、long2ip0。 
' 整形 定义 中 不 添加 显示 长 度 的 值 ， 比 如 使 用 INT， 而 不 是 INT(4)。 

“ 建议 不 要 使 用 ENUM 类 型 。 

“ 尽 可 能 不 要 使 用 TEXT、BLOB 类 型 。 


' 在 VARCHAR(N) 中 ，N 表 示 的 是 字符 数 而 不 是 字 节 数 ， 比 如 VARCHAR(255)， 最 大 可 存储 255 个 汉字 。 需 要 根据 实际 的 宽度 来 选择 N。 此 外 ，N 应 尽 可 能 地 小 ， 因 为 在 MySQL 的 一 个 表 中 ， 所 有 的 
VARCHAR 字 段 的 最 大 长 度 是 65535 个 字 节 ， 进 行 排 序 和 创建 临时 表 一 类 的 内 存 操作 时 ， 会 使 用 N 的 长 度 申请 内 存 ( 对 于 这 一 点 ，MySQL 5.7 后 有 了 改进 ) 。 


. 字符 集 建议 选择 UTF-8。 

“ 存储 年 时 使 用 YEAR 类 型 。 

- 存储 日 期 时 使 用 DATE 类 型 。 

. 存储 时 间 时 (精确 到 秒 ) 建议 使 用 TIMESTAMP 类 型 ， 因 为 TIMESTAMP 使 用 的 是 4 字 节 ，DATETIME 使 用 的 是 8 个 字 节 。 
. 不 要 在 数据 库 中 使 用 VARBINARY 或 BLOB 存 储 图 片 及 文件 等 。MySQL 并 不 适合 大 量 存储 这 种 类 型 的 文件 。 

:JOIN (连接 ) 字段 在 不 同 表 中 的 类 型 和 命名 要 一 致 


“ 如 果 变更 表 结 构 可 能 会 影响 性 能 ， 则 需要 通知 DBA 审 核 。 


7.4 SQL 语句 


执行 一 些 大 的 DELETE、UPDATE、INSERT 操 作 时 要 慎重 ， 特 别 是 对 于 业务 繁忙 的 系统 ， 要 尽量 避免 对 线 上 业务 产生 影响 。 长 时 间 的 锁 表 ， 可 能 会 导致 线 上 部 分 查询 被 阻塞 ， 甚 至 导致 Web 应 用 服务 器 
宕 机 。 解 决 的 方案 是 ， 尽 可 能 早 地 释放 资源 ， 尽 可 能 把 大 操作 切割 为 小 的 操作 ， 比 如 使 用 LIMIT 子 句 限制 每 次 操作 的 记录 数 ， 也 可 以 利用 一 些 日 期 字段 ， 基 于 更 小 粒度 的 时 间 范 围 进行 操作 。 


我 们 也 可 以 基于 自 增 字段 1D 分 批 分 段 删 除数 据 ， 如 下 的 例子 ， 是 一 个 定时 删除 线 上 数据 的 脚本 ，interval 变 量 用 于 设置 每 次 循环 删除 的 记录 数 ，i 变 量 用 于 控制 循环 的 次 数 。 由 于 在 删除 记录 的 同时 ， 可 
能 也 插入 了 记录 ， 因 此 设置 为 最 后 一 次 删除 的 记录 数 小 于 500 ($delRow-le 500) 时 ， 退 出 循环 。 


interval=200000 
i=1 
while [ $i -lt 100 ] 
do 
delRow=‘mysql db name 2>>$logFile <<EOF 
set @minMid=(select min (id) from table name) ; 
delete from table name where id < @minMid + $interval + 500 and date time < “2014-10-10 00:00:00” ，; 


select ROW COUNT () 7 


EOF ~ 
if [ $? -ne 0 ] ; then 
echo “delete table name failed” | tee -a $logFile 
exit 1 
fi 
echo “$i round: delete $delRow rows” 
if [ $delRow -le 500 ] ; then 
break 
六 
sleep 1 
S(t 
done 


由 于 篇 幅 有 限 ， 笔 者 对 以 上 代码 做 了 适当 简化 。 大 家 可 以 将 上 述 代码 自行 改造 为 适合 自己 的 形式 。 下 面 列举 一 些 相应 的 法 则 。 


' 不 要 使 用 ORDER BY RAND0。 

“ 避免 使 用 SELECTY 语 句 ，SELECT 语 句 只 用 于 获取 需要 的 字段 。 

“ 使 用 预 编译 语句 (prepared statement) ， 可 以 提高 性 能 并 且 防 范 SQL 注 入 攻击 。 
' 分 割 大 操作 。 


:SQL 语句 中 IN 包含 的 值 不 应 过 多 ， 建 议 少 于 100。 


. 一般 情况 下 在 UPDATE、DELETE 语 句 中 不 要 使 用 LIMIT。 

" WHERE 条 件 语句 中 必须 使 用 合适 的 类 型 ， 避 免 MySQL 进 行 隐 式 类 型 转化 。 

INSERT 语句 必须 显 式 地 指明 字段 名 称 ， 不 要 使 用 [NSERT INTO table()。 

“ 避免 在 SQL 语 和 句 中 进行 数学 运算 或 函数 运算 ， 避 免 将 业务 逻辑 和 数据 存储 厅 合 在 一 起 。 

“ INSERT 语句 如 果 使 用 批量 提交 (如 INSERT INTO table VALUES0,0,0…… ) ， 那 么 VALUES 的 个 数 不 应 过 多 。 一 次 性 提交 过 多 的 记录 ， 会 导致 线 上 I/O 紧 张 ， 出 现 慢 查 询 。 
“ 避免 使 用 存储 过 程 、 触 发 器 、 函 数 等 ， 这 些 特性 会 将 业务 逻辑 和 数据 库 耦 合 在 一 起 ， 并 且 MySQL 的 存储 过 程 、 触 发 器 和 函数 中 可 能 会 存在 一 些 Bug。 

“应 尽量 避免 使 用 连接 (JOIN) ， 连 接 的 表 也 不 宜 过 多 。 

“ 应 使 用 合理 的 SQL 语句 以 减少 与 数据 库 的 交互 次 数 。 

“ 建议 使 用 合理 的 分 页 技术 以 提高 操作 的 效率 。 


“ 如 果 性 能 没有 问题 ， 则 只 在 主 库 上 执行 后 台 查询 或 统计 功能 。 如 果 必 须 在 从 库 上 执行 大 的 查询 ， 那 么 应 该 先 通知 DBA 增 加 专门 用 于 生产 查询 的 从 库 。 


7.5 ”SQL 脚本 


"SQL 脚本 必须 去 除 ^ 符 号 。Windows 系 统 中 ， 每 行 的 结尾 是 “< 回 车 >< 换 行 >”， 即 “\r\n”; Mac 系 统 里 ， 每 行 的 结尾 是 “< 回 车 >”， 即 \t。Unix/Linux 系 统 里 ， 每 行 的 结尾 是 换行 CR， 即 “\n”。 
三 个 系统 行 的 结尾 各 不 相同 ， 这 会 导致 的 一 个 直接 后 果 是 ，Unix/Mac 系 统 下 的 文件 在 Windows 里 打开 时 ， 所 有 的 文字 会 变 成 一 行 ; 而 Windows 里 的 文件 在 Unix/Mac 下 打开 ， 在 每 行 的 结尾 可 能 会 多 出 一 个 ^M 
插 号 。 而 在 SQL 脚本 中 ， 必 须要 将 此 符号 去 除 。 


x 


“ 对 于 存储 过 程 或 触发 器 ， 升 级 脚本 里 应 该 正确 设置 分 隔 符 (DELIMITER) 。 

“ 对 于 函数 ， 需 要 确认 DETERMINISTIC。 

“ 如 果 没 有 特殊 需要 ， 应 该 一 律 使 用 [nnoDB 引擎 和 utf8 字 符 集 。 升 级 脚本 应 尽量 做 到 方便 回 滚 、 可 重复 执行 。 

“ 必须 保证 注释 的 有 效 性 〈 注 : MySQL 注 释 可 以 使 用 “--”、“#” 或 “/**/”， 其 中 “--” 后 面 跟 内 容 时 一 定 要 有 空格 ， 由 于 “--” 这 种 注释 方法 经 常 导致 出 错 ， 建 议 统一 使 用 “#” 进 行 注释 ) 。 
“ 对 一 个 表 的 表 结构 的 变更 ， 应 合并 为 一 条 SQL 实现 。 


:SQL 文件 必须 是 UTF-8 无 BOM 格 式 的 文件 。 对 于 存在 非 英文 字符 的 升级 文件 ， 可 以 用 fle 命 令 确认 它 是 否 为 一 个 UTF-8 编 码 的 文件 。 例 如 : 


[linux1]$ file upgrade.sql 
upgrade.sql: UTF-8 Unicode text, with very long lines 


需要 留意 的 是 ， 英 语 字 母 的 utf8 编 码 和 ASCII 编 码 是 一 样 的 。 对 于 一 个 全 英文 字母 的 文件 ，file 命 令 不 会 指明 这 是 一 个 UTF-8 编 码 的 文件 。file 命 令 对 于 GBK 等 字符 集 可 能 也 会 识别 不 佳 。 


对 于 开发 和 测试 环境 ， 建 议 制订 严格 的 规范 ， 让 大 家 都 使 用 UTF-8 编 码 的 文件 。 可 以 使 用 enca、iconv 等 命令 批量 转换 文件 。 


iconv 的 命令 格式 为 : iconv-f encoding-t encoding inputfile 


iconv-| 可 列 出 所 支持 的 字符 集 。 


如 下 命令 将 转换 GBK 字 符 集 的 aaa.txt 文 件 为 utf8 字 符 集 的 bbb.txt。 


iconv -fgbk -t utf-8 aaa.txt > bbb.txt 


一 些 编辑 工具 可 以 轻易 地 转换 文件 格式 ， 图 7-1 展 示 了 notepad++ 转 换 编码 的 菜单 项 。 


语言 化 ) 设置 位 ) 宝 包 ) 运行 


9 以 UTF-6 无 BO 格式 护 码 
以 ITF-6 格式 编码 
以 大 S-2 Bie Fndian 格式 篇 蚂 
书 UCS-2 Little Endian 相 式 编码 
沪 刀 字 人 性 和 集 


转 为 ANSI 辆 吉 格 式 

特 为 UIF-8 志 BO0M 摘 瓜 相 式 

转 为 1TF-6 编码 格式 

转 为 UTCS=-2 Big Endian 蝙 码 格式 
转 为 CS-2 Little Endian 蚁 反 榈 式 


图 7-1 notepad++ 转 换文 件 的 编码 为 UTF-8 无 BOM 格 式 


. 一 些 初始 化 数据 的 操作 ， 也 可 以 用 mysqldump 导 出 测试 /开发 环境 数据 ， 然 后 提交 给 DBA 升 级 生产 环境 数据 库 。mysqldump 可 以 保持 最 佳 的 兼容 性 。 而 其 他 的 客户 端 工具 导出 的 文件 则 可 能 存在 一 些 异 
常 或 不 兼容 的 情况 。 
* 导出 导入 数据 时 需要 注意 MySQL Server 和 客户 端 工 具 的 版 本 。 


由 于 一 般 软件 都 是 向 后 兼容 的 ， 因 此 在 高 低 版 本 间 导 出 导入 数据 时 ， 如 果 大 版 本 是 一 致 的 ， 比 如 ， 都 是 MySQL 5.1， 一 般 是 不 会 有 什么 问题 的 。 但 如 果 大 版 本 不 一 致 ， 则 可 能 存在 兼容 性 的 问题 ， 如 从 
MySQL 5.0 导 入 到 5.1， 或 者 从 MySQL 5.1 导 入 到 5.0， 请 尽量 遵循 以 下 原则 。 


从 MySQL Server 低 版 本 导入 数据 到 MySQL Server 高 版 本 时 ， 应 该 直接 以 高 版 本 的 mysqldump 导 出 ， 然 后 导入 高 版 本 的 MySQL server 中 ， 当 然 ， 以 低 版 本 的 mysqldump 导 出 可 能 也 行 。 


从 MySQL Server 高 版 本 导入 数据 到 MySQL Server 低 版 本 ， 应 该 以 低 版 本 的 mysqldump 导 出 ， 然 后 再 导入 低 版 本 的 MySQL Server。 


7.6 ”数据 架构 的 建议 
“ 每 张 表 的 数据 量 控制 在 5000 万 以 下 。 
“ 推荐 使 用 CRC32 求 余 ( 或 者 类 似 的 算术 算法 ) 进行 分 表 ， 表 名 后 缓 使 用 数字 ， 数 字 必须 从 0 开始 并 等 宽 ， 比 如 散 100 张 表 ， 后 缓 则 是 从 00-99 。 


“ 使 用 时 间 分 表 ， 表 名 后 组 必须 使 用 国定 的 格式 ， 比 如 按 日 分 表 为 user_20110101。 


7.7 ”开发 环境 、 测 试 环境 的 配置 参数 建议 


假设 我 们 统一 字符 集 为 utf8， 统 一 默认 引擎 为 InnoDB， 那 么 建议 默认 的 配置 文件 my.cnf 如 下 ， 这 份 配置 文件 没有 进行 关注 性 能 方面 的 调整 ， 大 家 可 以 对 照 自己 的 环境 修改 或 增加 适当 的 参数 。 


[client] 

port = 3306 

socket = / tmp/mysql.sock 
default-character-set = utf8 
[mysqld] 

Character-set-server = utf8 

port = 3306 

socket = /tmp/mysql.sock 
user = mysql 


skip-external-locking 
max_connections=3000 
max_connect errors=3000 
thread cache size = 300 
skip-name-resolve 

server-id =1 

binlog format=mixed 
expire-logs-days = 8 

sync binlog=60 
innodb log file size = 256M 
default-storage-engine=innodb 
[mysqldump] 

quick 

max allowed packet = 16M 
[mysql] 

no-auto-rehash 

# Remove the next comment character if you are not familiar with SQL 
#safe-updates 
default-character-set = utf8 


7.8 ”数据 规划 表 


数据 库 是 一 项 比较 紧缺 的 资源 ， 往 往 需要 进行 数据 规划 和 资源 申请 。 表 7-1 是 一 个 申请 资源 的 范本 表 ， 可 以 作为 研发 团队 提交 给 DBA 进 行 申请 资源 之 用 。 由 于 互联 网 业务 的 变化 可 能 会 很 快 ， 往 往 难 以 准 
确 地 估计 数据 量 和 业务 量 的 增长 速度 ， 所 以 ， 对 于 这 两 项 可 以 要 求 不 必 非 常 准确 ， 但 最 好 不 要 有 数量 级 的 估算 错误 ， 你 规划 得 越 准确 ， 后 续 的 运 维 成 本 就 越 低 ， 调 整 的 代价 就 越 小 。 


表 7-1 申请 资源 范本 表 


类 型 数据 类 型 数据 


insert 事务 / 天 : 数据 重要 程度 : 

update 、delete 事务 / 天 : 数据 敏感 程度 : 

select 次 数 / 天 : 数据 保留 时 长 : 

峰值 事务 增 比 幅度 : 预计 三 个 月 后 的 数据 文件 大 小 : 
长 查询 事务 : 预计 一 年 以 后 的 数据 文件 大 小 : 
前 端 并 发 连接 数 : 


其 中 ， 峰 值 事 务 增 比 幅度 = 最 高 峰值 事务 /平均 事务 。 


对 于 长 查询 事务 ， 因 为 数据 库 不 是 很 擅长 同时 处 理 批量 大 事务 和 实时 短 事务 
议 尽早 规划 ， 将 统计 数据 分 离 到 其 他 的 数据 库 实例 。 


此 对 于 线 上 的 繁忙 生产 系统 ， 一 般 是 不 允许 有 很 多 长 查询 存在 的 ， 以 免 影响 线 上 业务 。 如 果 有 统计 类 的 分 析 业 务 ， 则 建 


关于 数据 文件 的 大 小 ， 建 议 使 用 真实 的 数据 进行 估算 。 如 输入 30 万 条 数据 ， 然 后 使 用 如 下 查询 验证 数据 大 小 。 


select sum(data lengthtindex length) from information schema.tables where table schema='db name' and table name='table name'; 


由 以 上 的 结果 可 以 估算 出 100 万 数据 的 大 小 。 


7.9 ”其 他 规范 


“ 批量 导入 、 导 出 数据 时 DBA 需 要 进行 审查 ， 并 在 执行 过 程 中 观察 服务 。 

“ 批量 更 新 数据 时 ， 如 执行 UPDATE、DELETE 操 作 ，DBA 也 要 进行 审查 ， 并 在 执行 过 程 中 观察 服务 。 

“ 产品 出 现 非 数据 库 平 台 运 维 导致 的 问题 和 故障 时 ， 请 及 时 通知 DBA， 以 便于 维护 服务 的 稳定 性 。 

“ 业务 部 门 推广 活动 ， 请 提前 通知 DBA 进 行 服务 和 访问 评估 。 

“如果 业务 部 门 出 现 人 为 误 操 作 而 导致 数据 丢失 ， 则 需要 恢复 数据 ， 请 在 第 一 时 间 通 知 DBA， 并 提供 数据 丢失 的 准确 时 间 ， 误 操作 语句 等 重要 线索 。 


@@, 千 规范 的 根本 目的 是 为 了 帮助 开发 、 释 放 人 的 潜力 ， 提 高 生产 力 ， 而 不 是 约束 人 ， 让 人 失去 发 挥 的 空间 。 标 准 的 建设 任 重 而 道 远 ， 在 制定 的 过 程 中 ， 前 期 宜 宽 不 宜 紧 ， 逐 渐 收 集 信息 ， 提 高 规范 
的 适应 性 ， 最 终 是 可 以 达到 一 个 平衡 的 。 友 好 的 规范 既 能 保证 运 维 的 安全 、 便 捷 ， 也 能 让 研发 、 测 试 团队 的 工作 更 加 高 效 。 它 还 应 该 是 一 个 知识 的 集聚 地 ， 让 接触 规范 的 人 尽快 变 得 训练 有 素 。 


三 部 分 “测试 篇 


测试 需要 掌握 的 知识 面 很 广泛 ， 本 篇 的 关注 点 是 数据 库 的 性 能 测试 和 压力 测试 ， 对 于 其 他 领域 的 测试 ， 由 于 涉猎 不 多 ， 笔 者 就 不 做 叙述 了 。DBA 的 工作 职责 之 一 就 是 评估 软 硬 件 ， 这 往往 是 一 项 很 耗 时 
的 工作 ， 本 书 将 分 两 个 章节 为 读者 介绍 数据 库 的 性 能 、 压 力 测试 所 需要 掌握 的 理论 知识 ， 并 提供 一 个 简单 的 基准 测试 模型 以 供 大 家 参考 。 这 部 分 内 容 对 于 大 部 分 中 小 型 公司 来 说 应 该 够 用 了 。 


第 8 章 “测试 基础 


本 章 将 为 读者 介绍 测试 数据 库 要 掌握 的 一 些 概念 、 步 骤 和 注意 事项 。 很 多 时 候 ， 我 们 在 做 架构 设计 时 会 拿 不 定 主意 ， 而 这 是 源 于 对 软 硬 件 的 极限 不 是 很 清楚 ， 通 过 测试 所 获得 的 经 验 将 为 我 们 进行 决策 


提供 依据 。 在 做 测试 之 前 ,我 们 需要 知道 应 该 如 何 测试 ， 以 及 为 什么 要 这 样 测试 。 随 着 经 验 的 增长 ， 我 们 将 越 来 越 擅长 于 数据 库 软 硬 件 的 测试 ， 还 可 以 根据 


8.1 ”基础 概念 


数据 库 性 能 测试 一 般 是 指 通过 运行 测试 程序 来 衡量 硬件 或 软件 (编译 器 、 数 据 库 等 ) 在 不 同 架构 下 的 性 能 。 
的 性 能 测试 或 压力 测试 。 在 现实 生产 环境 中 ， 对 于 性 能 测试 或 压力 测试 并 没有 进行 清晰 地 划分 ， 本 书 


衡量 数据 库 性 能 的 主要 指标 包括 事务 吞吐 率 和 响应 时 间 ， 同 样 ， 测 试 的 时 候 也 主要 是 考虑 这 两 个 指标 。 事 务 吞吐 率 是 指数 据 库 操作 的 速率 ， 即 每 秒 能 完成 多 少 如 


自动 提交 ， 所 以 也 可 以 近似 地 将 其 看 作 每 秒 查询 数 。 响 应 时 间 指 的 是 响应 请 求 的 总 耗 时 ， 包 括 等 待 时 间 、 执 行 时 间 及 传输 数据 的 时 间 。 现 实 中 ， 我 们 往往 过 于 看 重 寻 


环境 下 ， 应 该 意识 到 ， 合 理 的 响应 时 间 范 围 内 的 事务 吞吐 率 才 有 意义 。 因 为 ， 如 果 没 有 稳定 、 良 好 的 用 户 体验 ， 事 务 吞吐 率 再 高 也 没有 什么 意义 。 


8.2 ”性 能 测试 的 目的 


我 们 可 能 会 出 于 不 同 的 目的 对 数据 库 主 机 的 性 能 进行 测试 ， 具 体 测试 内 容 如 下 。 


“ 建立 自己 的 基准 指标 ， 也 就 是 基准 测试 。 


“ 在 采购 服务 器 时 ， 可 能 需要 测试 不 同 软 硬 件 组 合 配 置 下 的 数据 库 性 能 ， 以 选取 性 价 比较 高 的 那个 方案 。 


Ry 


} 比 不 同系 统 参 数 或 数据 库 参 数 配 置 下 的 数据 库 性 能 。 


为 


时 比 不 同 的 数据 库 产品 。 


Ry 


上 比 数 据 库 不 同 版 本 之 间 的 差异 。 


Ry 


一 些 新 特性 进行 试用 和 验证 。 


Ry 


1 一些 操作 系统 补丁 和 数据 库 补 丁 进行 验证 。 


Ry 


时 比 不同 的 操作 系统 、 文 件 系 统 和 库 的 差异 。 


如 果 都 是 比较 成 熟 的 数据 库 产品 ， 那 将 很 难 证 明 在 所 有 指标 上 ， 一 个 产品 完胜 另外 一 个 产品 ， 产 品 的 设计 哲学 


以 我 们 进行 测试 的 目的 不 是 要 证 明 存 在 一 个 完美 的 产品 ， 而 是 在 损失 可 以 接受 的 范围 内 ， 进 行 合理 地 软 硬 件 配置 。 


比如 ， 插 入 数据 的 速度 慢 一 些 往往 无 关 紧要 ， 如 果 可 以 有 更 高 的 压缩 率 、 更 高 的 


存储 效率 的 话 ， 那 么 比较 低 的 插入 速度 是 可 以 接受 的 。 


自己 的 需求 灵活 地 进行 测试 工作 。 


测试 的 含义 很 广 ， 包 括 数据 流 各 个 环节 的 测试 ， 本 书 如 果 不 加 以 特别 说 明 ， 指 的 就 是 数据 库 
也 不 会 分 别 加 以 论述 ， 我 们 可 以 认为 压力 测试 是 性 能 测试 的 一 个 特例 。 


有 务 ， 由 于 MySQL InnoDB 默 认 的 模式 是 


务 吞吐 率 ， 而 忽略 了 响应 时 间 ， 在 生产 


往往 决定 了 它 的 优势 和 劣势 ， 或 者 说 安 人 全、 效率、 价格、 稳定 这 些 因素 往 往 不 可 兼 得 。 所 


对 于 数据 库 产 品 来 说， 除了 传统 的 性 能 指标 之 外 ， 还 需要 考虑 一 些 非 常 重要 的 影响 现实 决策 的 因素 。 比 如 灾难 恢复 、 存 储 效率 、 对 于 复杂 业务 逻辑 的 支持 、 对 于 其 他 数据 库 产 品 的 兼容 程度 等 ， 这 些 内 


容 在 测试 篇 中 不 会 加 以 阅 述 ， 在 性 能 调 优 与 架构 篇 中 会 详细 讲述 这 部 分 的 内 容 ， 以 帮助 大 家 了 解 如 何 选择 一 个 适合 


8.3 ”基准 测试 


基准 测试 是 我 们 依据 自身 的 软 硬 件 配置 所 做 的 一 个 数据 库 性 能 测试 ， 它 能 够 尽 可 能 地 覆盖 生产 中 的 一 般 场景 。 随 着 软 硬 件 的 升级 换代 ， 措 


很 多 软 硬 件 厂商 官方 测试 结果 的 数据 指标 都 非常 好 ， 但 这 些 往往 都 是 不 可 信 的 ， 


自己 业务 的 数据 库 产品 。 


准 测试 的 相应 指标 可 能 


它们 可 能 经 过 了 特殊 的 调整 来 适应 基准 测试 软件 ， 
测试 中 的 亮点 ， 因 此 这 些 测试 结果 不 太 可 能 适用 于 真实 的 世界 。 不 同 的 公司 有 不 同 的 业务 特点 ， 所 以 我 们 有 必要 建立 自己 的 测试 基准 ， 保 存 自己 的 


时 期 的 性 能 数据 。 虽 然 很 难 实现 完全 适合 自己 的 业务 模型 ， 但 至 少 能 提供 一 个 相对 可 靠 的 模型 ， 可 以 


作 采 购 机 器 、 选 择 数据 库 产品 、 


需要 做 一 些 改变 ， 


从 而 回避 了 自身 的 不 足 之 处 ， 他 们 更 多 是 希望 展示 自己 的 产品 在 性 能 


启用 数据 库 新 特性 等 的 依据 。 


我 们 可 以 依据 基准 测试 的 数据 来 猜测 系统 大 概 还 有 多 少 性 能 余 量 ， 但 由 于 测试 工具 存在 一 定 的 局 限 性 ， 因 此 很 难 用 它 来 模拟 真实 场景 ， 所 以 需要 谨慎 对 待 基准 测试 的 数据 。 


历史 测试 数据 ， 以 便 衡量 不 同 的 主机 、 软 件 、 架 构 及 不 同 


我 们 应 该 对 于 系统 的 可 扩展 性 、 不 同 数据 量 下 的 性 能 吞吐 有 一 个 大 概 的 认识 ， 预 先 判断 瓶颈 点 可 能 会 出 现在 哪里 。 这 些 认 识 和 判断 往往 依赖 于 经 验 的 累计 ， 随 着 经 验 的 增长 ， 你 自然 而 然 会 具备 一 些 意 


识 


一 个 好 的 基准 测试 ， 应 满足 如 下 的 一 些 要 素 。 


(1) 有 现实 意义 


基准 测试 需要 具有 现实 意义 ， 工 作 负 荷 、 样 本 数据 、 系 统 配置 应 该 和 我 们 测试 的 目的 相关 ， 这 样 才 更 有 实际 意义 。 


(2) 具有 可 观察 性 、 易 理解 、 文 档 化 


基准 测试 必须 充分 文档 化 ， 其 他 人 在 阅读 文档 时 能 够 知道 你 的 软 硬 件 环境 配置 是 如 何 进行 测试 的 ， 可 能 还 
载 等 信息 ， 其 他 人 在 其 他 系统 上 可 能 会 得 到 不 同 的 测试 结果 。 测 试 结果 往往 要 在 一 定 的 上 下 文中 才 有 意义 ， 比 如 一 个 数 


试 工具 进行 测试 ? 数据 库 是 什么 版 本 ? 测试 环境 是 如 何 部 署 的 ? 数据 文件 多 大 ? 数 


居 写 入 频率 如 何 ? 数据 文件 磁盘 空间 占 比 如 何 ? 使 


附 上 你 的 配置 文件 。 并 不 是 所 有 的 人 都 是 专业 的 ， 如 
居 库 的 MO 测试 可 能 需要 包含 如 下 信息 : 


只 ， 这 个 时 候 ， 就 可 以 有 针对 性 地 进行 测试 了 ， 可 以 更 有 效 地 利用 基准 测试 数据 了 。 而 且 ， 一 旦 我 们 产生 某 个 想法 ， 就 能 知道 应 该 改变 哪些 软 硬 件 配置 来 验证 自己 的 想法 。 


果 你 不 说 明 


自己 的 系统 、 软 件 版 本 、 负 
负载 是 什么 样 的 ?使 用 了 什么 软 硬 件 、 什 么 测 


何 种 方式 写 入 数 


局 文件 ? 使 


何 种 方式 写 日 志文 件 ? 使 用 独立 表 空 间 


他 人 对 比 不 同 配置 下 


还 是 共享 表 空间 ? 使 用 的 是 什么 文件 系统 ?使 用 的 是 什么 MO 调度 算法 ”磁盘 阵列 是 什么 RAID 级 别 ? 有 带电 池 的 RAID 卡 吗 ?信息 记录 得 越 详细 越 好 ， 不 仅 方便 自己 以 后 参考 ， 也 方便 
的 测试 结果 。 


(3) 可 运行 且 具 有 可 重复 性 


基准 测试 是 可 以 重复 进行 得 到 类 似 结果 的 。 所 以 务必 要 减少 干扰 因素 ， 尽 可 能 让 其 他 人 可 以 按照 你 文档 描述 的 步骤 得 到 一 样 的 结果 。 当 然 ， 也 不 能 忽视 干扰 的 存在 ， 比 如 定时 守护 ， 其 他 用 户 的 操作 
等 。 对 于 云 上 的 环境 来 说 ， 由 于 对 其 他 用 户 不 可 见 ， 因 此 相对 于 传统 的 主机 环境 来 说， 更 加 难以 确认 干扰 。 基 于 此 ， 我 们 需要 熟悉 数据 流 的 各 个 环节 ， 比 如 负载 均衡 设备 、Web 服 务 器 、 数 据 库 服务 器 、 应 
服务 器 、 存 储 设备 等 ， 将 这 些 环节 映射 到 我 们 的 模型 中 ， 可 以 帮助 我 们 发 现 一 些 之 前 被 忽略 的 干扰 源 。 


(4) 收集 足够 的 信息 


基准 测试 应 该 尽 可 能 地 收集 信息 ， 比 如 内 存 占用 、MO 性 能 、CPU 性 能 等 。 收 集 尽 可 能 多 的 信息 总 是 一 件 好 事 ， 因 为 这 样 做 有 利于 分 析 问 题 和 发 现 问题 。 


(5) 有 分 析 结 果 


要 对 基准 测试 结果 进行 分 析 、 看 和 我 们 预期 的 是 否 一 样 ， 和 经 验 常识 是 否 一 致 。 不 能 只 提供 数据 而 不 提供 分 析 结 果 。 


(6) 要 对 基准 测试 结果 进行 解释 和 说 明 


我 们 应 该 说 明 测 试 结果 中 的 一 些 异常 状况 ， 比 如 是 否 有 错误 、 异 常 或 干扰 。， 如 果 有 一 些 不 可 理解 的 地 方 ， 也 请 描述 出 来 ， 也 许 有 经 验 的 其 他 人 员 可 以 帮助 你 进行 分 析 。 如 果 和 我 们 预期 的 不 一 致 ， 那 么 
也 有 可 能 是 我 们 的 测试 方法 有 问题 ,或 者 被 其 他 的 因素 干扰 了 。 总 之 ， 如 果 测试 结果 有 很 多 不 能 解读 的 地 方 ， 那 么 建议 不 要 在 公开 场合 发 布 。 此 外 ， 因 为 基准 测试 很 耗 时 ， 所 以 有 时 会 让 初级 工程 师 进行 基 
准 测试 ， 然 后 让 高 级 工程 师 查看 性 能 记录 ， 并 分 析 和 解释 基准 测试 数据 。 这 样 做 并 不 好 ， 最 好 是 在 进行 基准 测试 的 时 候 就 能 够 实时 查看 。 


8.4 ”性 能 /基准 测试 的 步骤 


性 能 测试 需要 合理 的 计划 和 有 条 理 的 步骤 ， 不 能 随意 得 出 结论 ， 性 能 测试 的 大 概 步骤 如 下 。 


1) 明确 测试 目的 。 


NN 


设计 测试 模型 。 


Wu 


) 准备 测试 集群 环境 。 


4) 准备 压力 测试 工具 或 编写 压力 测试 脚本 。 


w 


) 明确 性 能 指标 并 加 以 监控 。 


Oo 


根据 2) 设计 的 测试 模型 准备 测试 数据 。 


| 


) 测试 执行 。 


oo 


测试 分 析 。 


第 9 章 会 详 述 如 何 进行 测试 。 


8.5 ”测试 的 注意 事项 


1) 需要 明白 ， 干 扰 是 必然 存在 的 。 


干扰 是 必然 存在 的 ， 比 如 定时 守护 、 其 他 用 户 的 操作 等 。 性 能 测试 所 处 的 环境 可 能 是 不 干净 的 ， 即 使 你 认为 很 干净 了 ， 仍 然 可 能 有 你 所 不 知道 的 因素 影响 测试 结果 。 干 扰 的 来 源 可 能 不 那么 清晰 ， 如 果 
你 需要 仔细 研究 系统 性 能 ， 你 就 需要 确定 它 。 数 据 流 的 各 个 环节 ， 如 负载 均衡 设备 、Web 服 务 器 、 数 据 库 服务 器 、 应 用 服务 器 、 存 储 设备 都 可 能 存在 干扰 ， 而 有 些 环节 你 不 能 忽略 。 对 于 一 些 云 上 的 环境 ， 
由 于 你 和 其 他 用 户 共享 资源 ， 其 他 用 户 的 活动 也 可 能 会 影响 到 你 ， 而 你 在 一 个 客户 环境 内 ， 是 很 难 知道 物理 系统 的 资源 竞争 的 。 


现在 的 应 用 环境 ， 往 往 包含 了 多 个 组 件 ， 如 负载 均衡 软 硬 件 设备 、Web 服 务 器 、 数 据 库 服务 器 、 存 储 系 统 等 。 有 一 个 足够 真实 的 模拟 环境 ， 可 以 及 早 发 现 干扰 的 源头 。 各 个 组 件 对 照 物理 环境 独立 部 
署 ， 互 不 影响 ， 可 以 更 好 地 确保 测试 结果 的 可 靠 性 。 


2) 性 能 /压力 测试 ， 往 往 需要 时 间 预 热 ， 需 要 不 那么 平均 分 布 的 数据 。 


笔者 见 过 很 多 不 完善 的 测试 报告 ， 可 能 是 测试 者 为 了 赶 进度 ， 测 试 时 间 比 较 短 ， 这 点 可 以 理解 ， 因 为 大 家 的 时 间 都 很 紧张 。 但 实际 上 ， 我 们 的 测试 是 需要 足够 多 的 时 间 的， 要 有 足够 多 的 时 间 进 行 预 
热 ， 当 一 些 热点 数据 加 载 到 内 存 中 时 ， 数 据 才 可 能 更 符合 实际 生产 情况 。 现 在 流行 的 测试 工具 或 方法 ， 往 往 是 对 平均 分 布 的 数据 进行 测试 ， 但 真实 的 负载 往往 是 不 均匀 的 ， 可 能 某 部 分 数据 比较 “ 热 ”， 某 
部 分 数据 则 基本 没有 被 访问 ， 或 者 基于 某 些 索引 值 只 有 少量 结果 ， 而 另 一 些 索引 值 则 会 检索 到 大 量 的 记录 ， 所 以 如 果 我 们 的 真实 数据 确实 存在 比较 突出 的 数据 不 均匀 现象 ， 那 么 测试 的 时 候 最 好 也 让 数据 变 
得 不 均匀 。 在 真实 环境 中 ， 数 据 往往 也 有 “碎片 ”， 很 多 性 能 测试 ， 往 往 就 是 直接 装载 数据 ， 然 后 马上 开始 进行 测试 ， 但 实际 上 ， 应 该 尽量 采取 一 些 操作 ， 让 数据 变 得 不 那么 “整齐 ”， 比 如 在 INSERT、 
UPDATE 或 DELETE 数 据 的 时 候 按 随机 的 key 顺 序 进行 操作 ， 有 “碎片 ”的 数据 应 该 是 正常 的 ， 应 该 模拟 出 这 种 效果 。 


3) 性 能 /压力 测试 ， 需 要 真实 的 数据 。 数 据 量 不 够 大 ， 往 往 难 以 反映 真实 的 瓶颈 所 在 。 


4) 模拟 真实 的 环境 总 是 困难 的 ， 从 真实 环境 引流 是 一 个 可 以 考虑 的 策略 。 


5) 测试 程序 应 该 是 多 线程 的 。 如 果 是 单线 程 的 话 ， 则 需要 多 个 实例 来 运行 ， 以 提高 吞吐 率 。 


6) 测试 需要 和 各 方 都 进行 信息 沟通 ， 在 充分 了 解 软件 的 情况 下 再 设计 测试 场景 。 


Oi 本 章 叙 述 了 性 能 测试 需要 掌握 的 一 些 基 础 知识 和 方法 学 ， 它 是 一 项 繁琐 又 耗 时 的 工作 ， 甚 至 有 时 会 给 你 带 来 挫败 感 。 掌 握 足 够 多 的 理论 ， 有 其 他 领域 的 知识 储备 ， 才 能 能 够 选择 正确 的 测试 策 
略 ， 设 计 良 好 的 测试 步骤 ， 从 而 达到 测试 的 目的 。 测 试 之 后 的 文档 整理 工作 也 很 重要 ， 昌 然 不 那么 有 趣 ， 但 是 如 果 要 发 布 你 的 测试 ， 让 别人 知道 你 的 成 果 ， 你 就 应 该 认真 对 待 它 。 


第 9 章 ”测试 实践 


在 第 8 章 中 介绍 了 测试 所 需要 的 理论 知识 ， 本 章 将 为 读者 讲述 实际 的 测试 过 程 。 实 际 测试 一 般 包括 硬件 测试 、MySQL 基 准 测 试 及 应 用 服务 压力 测试 ， 下 面 将 分 别 讲述 这 三 方面 的 内 容 。 此 外 ， 测 试 工 
的 选择 也 很 重要 ， 本 章 将 为 读者 介绍 两 个 常用 的 工具 sysbench 和 mysqlslap。 


9.1 ”硬件 测试 
9.1.1 概述 


有 时 我 们 出 于 一 些 原因 ， 需 要 进行 硬件 的 测试 。 比 如 ， 软 件 架构 很 复杂 ， 难 以 模拟 ， 这 时 我 们 可 以 大 致 测量 一 些 硬件 指标 ， 建 立 比较 基本 的 性 能 和 容量 模型 。 比 如 ， 在 升级 硬件 的 时 候 ， 往 往 不 会 选择 
升级 所 有 硬件 ， 而 是 更 着 重 于 首先 升级 系统 紧缺 的 资源 ， 例 如 MO， 那 么 这 时 就 需要 专门 针对 不 同 的 硬件 配置 ， 来 测试 MO 的 提升 效果 。 再 比如 ， 硬 件 厂 商 往 往 夸大 其 词 ， 这 时 我 们 就 需要 运用 自己 认为 可 靠 
的 工具 去 实际 验证 ， 确 认 新 的 硬件 在 一 些 关 键 指标 上 是 否 有 大 幅度 的 提升 。 


现实 中 ， 硬 件 和 数据 库 的 测试 工具 并 没有 划分 得 很 清晰 ， 一 些 数 据 库 测试 工具 ， 本 身 就 可 以 对 各 种 硬件 资源 进行 压力 测试 。 比 如 sysbench， 既 可 以 测试 数据 库 ， 又 可 以 用 来 测试 CPU、 内 存 等 硬件 资 
源 。 


本 书 将 主要 关注 Linux 下 的 软 硬 件 测试 。 


一 些 需要 测量 的 硬件 有 : 内 存 、CPU、 磁 盘 、 网 卡 、 网 络 等 。 


网 上 也 有 很 多 优秀 的 开源 测试 工具 ， 这 里 仅 列 出 一 些 常用 的 测试 工具 。 


“ 内 存 测试 的 工具 有 sysbench、stream、RamSpeed、stress 等 。 
“CPU 测试 的 工具 有 sysbench、cpuburn、stress 等 。 


“ 磁盘 测试 的 工具 有 sysbench、iozone 等 。 


9.1.2 CPU 测试 


sysbench 命 令 通过 进行 素数 运算 来 测试 CPU 的 性 能 。cpu-max-prime 选 项 指定 了 最 大 的 素数 为 20000， 如 下 : 


sysbench --test=cpu --cpu-max-prime=20000 run 


对 于 CPU 的 测试 ， 我 们 要 重点 关注 三 个 指标 : 上 下 文 切 换 (context switch) 、 运 行 队列 (run queue) 和 使 用 率 (utilization) 。 


(1) 上 下 文 切换 


在 操作 系统 中 ， 若 要 将 CPU 切换 到 另 一 个 进程 ， 需 要 保存 当前 进程 的 状态 并 恢复 另 一 个 进程 的 状态 : 即将 当前 运行 任务 转 为 就 绪 (或 者 挂 起 、 删 除 ) 状态 ， 让 另 一 个 被 选 定 的 就 绪 任务 成 为 当前 任务 。 
上 下 文 切换 包括 保存 当前 任务 的 运行 环境 ， 恢 复 将 要 运行 任务 的 运行 环境 等 。 过 多 的 上 下 文 切换 会 给 系统 造成 很 大 的 开销 。 


(2) 运行 队列 

当 Linux 内 核 要 寻找 一 个 新 的 进程 在 CPU 上 运行 时 ， 需 要 考虑 处 于 可 运行 状态 的 进程 ， 运 行 队列 容纳 了 系统 中 所 有 可 运行 的 进程 。 理 想 情 况 下 ， 调 度 器 会 让 队列 中 的 进程 不 断 运行 ， 如 果 CPU 过 载 ， 就 会 
出 现 调度 器 跟 不 上 系统 的 情况 ， 从 而 导致 可 运行 的 进程 填 满 队列 。 队 列 越 大 ， 程 序 执行 的 时 间 就 越 长 。“load” 用 于 表示 正在 等 待 运行 的 队列 长 度 ，top 命 令 可 以 让 我 们 看 到 在 一 分 钟 、5 分 钟 和 15 分 钟 内 
CPU 运行 队列 的 大 小 。 这 个 值 越 大 则 表明 系统 负荷 越 大 。 


(3) 使 用 率 


CPU 使 用 率 可 分 为 以 下 几 个 部 分 。 


“ User Time: 执行 用 户 进程 的 时 间 占 全 部 时 间 的 百分比 ， 通 常 是 期 望 这 个 值 越 高 越 好 。 

“System Time: CPU 内 核 运行 及 中 断 的 时 间 占 全 部 时 间 的 百分比 ， 通 常 是 希望 这 个 值 越 低 越 好 ， 系 统 CPU 占 用 率 过 高 时 ， 通 常 表明 系统 的 某 部 分 存在 瓶颈 。 
“WaitI/O: LI/O 等 待 的 CPU 时 间 占 全 部 时 间 的 百分比 ， 如 果 L/O 等 待 过 高 ， 那 么 说 明 系 统 中 存在 I/O 瓶 颈 。 

“Idle: CPU 处 于 Idle 状 态 的 时 间 占 全 部 时 间 的 百分比 。 

以 下 是 一 些 很 普遍 的 CPU 性 能 要 求 ， 供 大 家 参考 。 

“ 对 于 CPU 的 每 一 个 核 来 说 运行 队列 不 要 超过 3， 例 如 ， 如 果 是 双核 CPU 就 不 要 超过 6。 

“ 如 果 CPU 正 处 于 满 负荷 运行 状态 ， 那 么 使 用 率 应 该 符合 下 列 分 布 。 

User Time: 65%~70% 

System Time: 30%~35% 

Idle: 0%~5% 


“ 对 于 上 下 文 切换 ， 要 结合 CPU 使 用 率 来 看 ， 如 果 CPU 使 用 率 满足 上 述 分 布 ， 那 么 大 量 的 上 下 文 切 换 也 是 可 以 接受 的 。 常 用 的 监视 上 下 文 切换 的 工具 有 : vmstat、top、dstat 和 mpstat。 


通过 禁用 或 启用 CPU 核 ， 可 以 进行 不 同 CPU 核 数 的 性 能 和 压力 测试 。 


一 般 来 说 ， 对 于 数据 库 ， 比 如 MySQL， 一 条 查询 使 用 一 颗 CPU 核 ，MySQL 还 不 具备 一 个 查询 可 以 在 多 颗 CPU 核 中 并 行 运行 的 能 力 。 数 据 库 操作 中 如 果 有 大 量 的 内 存 读 ， 比 如 读 取 索 引 、 读 取 InnoDB 
buffer 里 的 数据 ， 那 么 往往 会 表现 为 CPU 瓶颈， 内 存 复制 也 是 如 此 。 


9.1.3 ”内存 测 试 


使 用 sysbench 测 试 内 存 的 命令 如 下 。 


sysbench --test=memory --memory-block-size=8K --memory-total-size=4G run 


上 述 参数 指定 了 本 次 测试 的 整个 过 程 是 在 内 存 中 传输 4GB 的 数据 量 ， 每 个 块 (block) 的 大 小 为 8KB。 


9.1.4 “1/O 测 试 


1. 普 通 磁 盘 阵 列 测试 


(1) 使 用 hdparm 


磁盘 性 能 测试 可 采用 hdparm 命 令 ， 对 于 上 线 的 服务 器 ， 为 了 简便 ， 可 用 自 带 的 命令 hdparm 初 步 判断 磁盘 的 性 能 ， 确 定 工作 是 否 正 常 。 如 果 要 更 可 靠 地 验证 磁盘 、RAID 性 能 ， 建 议 使 用 专门 的 测试 工 
上 有 具 ， 如 iozone 或 sysbench。 


hdparm 的 使 用 示例 如 下 。 


如 下 命令 可 查看 某 SATA 硬 盘 的 设置 。 


hdparm /dev/sda 


/dev/sda: 
IO support = 0 (default 16-bit) 
readonly = 0 (off) 
readahead = 256 (on) 
geometry = 60801/255/63, sectors = 976773168, start = 0 


解释 : geometry=60801【 柱 面 数 】/255【 磁 头 数 】/63【 遍 区 数 】，sectors=976773168【 总 扇 区 数 】，start=0【 起 始 扇 区 数 】。 


如 下 命令 可 查看 SSD 的 设置 。 


hdparm /dev/sdc 


/dev/sdc: 
IO_support = 0 (default 16-bit) 
readonly = 0 (off) 
readahead = 256 (on) 
geometry = 36481/255/63, sectors = 586072368, start = 0 


以 下 命令 用 于 检测 硬盘 的 读 取 速率 (buffered disk reads) ， 需 要 多 运行 几 次 ， 以 便 更 准确 。 


hdparm -t /dev/sda 
/dev/sda: 
Timing buffered disk reads: 426 MB in 3.00 seconds = 141.82 MB/sec 


以 下 命令 用 于 检测 硬盘 快 取 时 的 读 取 速 率 (cached reads) ， 需 要 多 运行 几 次 ， 以 便 更 准确 。 


ahdparm -T /dev/sda 
/dev/sda: 
Timing cached reads: 22096 MB in 2.00 seconds = 11070.65 MB/sec 


其 中 的 参数 解释 如 下 。 
 -t: 衡量 顺序 读 取 的 能 力 ， 不 经 过 操作 系统 缓存 。 


“ -T: 衡量 系统 的 吞吐 性 能 ， 未 访问 底层 的 物理 设备 ， 直 接 从 操作 系统 缓存 里 读 取 数据 。 


(2) 使 用 dd 


通过 dd 命令 可 实现 用 指定 大 小 的 块 复制 一 个 文件 ， 并 在 复制 的 同时 进行 指定 的 转换 。 


dd 命令 的 语法 格式 如 下 。 


dd if=<source> of=<target> bs=<byte size> skip=<blocks> seek=<blocks> count=<blocks> conv=<conversion> 


以 下 仅 以 RHEL 5.4 的 dd 为 例 来 说 明 参 数 ， 其 他 平台 所 支持 的 参数 可 能 不 一 样 。 
“ if=<source>: 指定 源 文件 。 默 认为 标准 输入 。 
“ of 三 <target>: 指定 目标 文件 。 默 认为 标准 输出 。 
“bs=<bytes>: 同时 设置 读 入 /输出 的 块 大 小 为 bytes 个 字 节 。 也 可 以 指定 其 他 单位 ， 如 KB、MB 等 。 
“skip=<blocks>: 从 输入 文件 的 开头 跳 过 blocks 个 块 后 再 开始 复制 。 
' seek=<blocks>: 从 输出 文件 的 开头 跳 过 blocks 个 块 后 再 开始 复制 。 
“ count=<blocks>: 仅 复 制 blocks 个 块 。 
“conv=<conversion>: 用 指定 的 参数 转换 文件 ， 参 数 如 下 ， 可 组 合 使 用 ， 中 间 用 未 号 分 隔 。 
:ascii: 转换 ebcdic 为 ascii。 
“ ebcdic: 转换 ascii 为 ebcdic。 


' ibm: 转换 ascii 为 alternate ebcdic。 


“ block: 使 每 一 行 的 长 度 都 为 cbs， 不 足 部 分 用 空格 填充 。 

' unblock: 使 每 一 行 的 长 度 都 为 cbs， 不 足 部 分 用 空格 填充 。 
“lcase: 把 大 写字 符 转换 为 小 写字 符 。 

“ ucase: 把 小 写字 符 转 换 为 大 写字 符 。 

“swab: 交换 输入 的 每 对 字 节 。 

“ noerror: 如 果 发 生 错误 ， 程 序 也 将 继续 运行 。 

“ notrunc: 不 截断 输出 文件 。 

“sync: 填充 每 个 块 到 指定 字 节 ， 不 足 部 分 用 空 (NUL) 字符 补 齐 。 


dd 命令 还 有 一 组 参数 oflag 和 iflag， 用 于 控制 源 文件 和 目标 文件 的 读 写 方式 。 


iflag=flag[, flag]http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/... 
oflag=flag[, flag]http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... 


标志 (flag) 可 选 的 值 如 下 。 

“ append: 以 追加 (append) 模式 写 数据 。 这 个 标志 仅 适 用 于 输出 ( 写 文件 ) 。 如 果 和 o 人 fle 联 合 使 用 ， 则 需要 同时 设置 conv=notrunc。 

dsync: 采用 同步 /O 读 写 数 据 ， 确 保 数 据 刷 新 到 了 磁盘 。 

sync; 与 上 者 类 似 ， 但 同时 也 对 元 数据 生效 ， 在 测试 数据 库 机 器 的 磁盘 性 能 时 ， 为 了 得 到 更 真实 的 性 能 数据 ， 建 议 使 用 sync 或 dsync 的 方式 读 写 数据 。 


“ direct: 使 用 direct I/O 操 作 数 据 ， 可 以 避免 操作 系统 缓存 的 影响 ， 即 读 或 写 文件 时 越过 操作 系统 的 读 写 缓存 。 如 果 指 定 oflag=direct， 则 写 文 件 时 会 忽略 缓存 的 影响 ;而 如 果 指 定 iflag=direct， 则 读 文件 
时 会 忽略 缓存 的 影响 。 


' fullblock: 为 输入 积累 完整 块 ( 仅 针对 iflag) 。 
' nonblock: 采用 非 阻塞 I/O 模 式 。 
“nofollow: 不 跟随 链接 文件 ， 即 忽略 链接 文件 指向 的 文件 。 当 从 标准 输入 读 取 或 写 入 到 标准 输出 时 ， 不 要 使 用 此 选项 。 


:noctty: 不 根据 文件 的 指派 控制 终端 。 


例 1: 测试 磁盘 写 能 力 ， 利 用 操作 系统 写 缓存 。 


dd if=/dev/zero of=blah.out bs=1M count=2000 


或 者 : 


time (dd if=/dev/zero of=blah.out bs=1M count=2000 ; sync ) 


因为 /dewzero 是 一 个 伪 设 备 ， 它 只 会 产生 空 字符 流 ， 对 它 不 会 产生 MO， 所 以 ，MO 都 集中 在 of 文件 中 ，of 文 件 只 用 于 写 ， 所 以 这 个 命令 相当 于 测试 磁盘 的 写 能 力 。 


dd 默认 的 方式 不 包括 “同步 (sync) ”命令 。 也 就 是 说，dd 命 令 完成 之 前 并 没有 让 系统 真正 把 文件 写 到 磁盘 上 。 脏 数据 可 能 还 在 操作 系统 的 缓存 里 ， 并 没有 刷新 到 磁盘 上 。 如 果 内 存 比较 大 ， 我 们 往往 
可 以 看 到 磁盘 的 写 能 力 很 高 。 


如 果 以 上 命令 在 一 块 普通 sata 硬 盘 上 执行 ， 结 果 如 下 ， 可 以 看 到 ， 每 秒 写 入 828MB， 显 然 磁盘 的 写 能 力 远 没有 这 么 高 。 


dd if=/dev/zero of=blah.out bs=1M count=2000 

2000+0 records in 

2000+0 records out 

2097152000 bytes (2.1 GB) copied, 2.53394 seconds, 828 MB/s 


我 们 可 以 更 改 系统 参数 ， 把 可 用 内 存 降低 到 很 小 ， 或 者 使 用 参数 oflag=sync 来 确保 已 将 数据 刷新 到 了 磁盘 。 


例 2: 使 用 oflag=sync 模 式 测试 磁盘 写 能 力 ， 对 于 数据 库 机 器 ， 一 般 建议 这 样 测试 磁盘 。 


time dd if=/dev/zero of=blah.out oflag=sync bs=1M count=2000 


对 比例 1 的 测试 结果 ， 本 次 测试 的 写 入 速度 大 大 降低 ， 这 才 是 比较 真实 的 写 入 速度 。 


time dd if=/dev/zero of=blah.out oflag=sync bs=1M count=2000 
2000+0 records in 

2000+0 records out 

2097152000 bytes (2.1 GB) copied, 27.861 seconds, 75.3 MB/s 
real Om27.913s 

user Om0.003s 

sys Om3.204s 


一 般 来 说 ， 随 着 bs 值 的 增加 ， 香 吐 往往 会 更 高 。 


例 3: 测试 磁盘 读 能 


time dd if=/dev/sdbl of=/dev/null bs=8k 


因为 /dewsdb1 是 一 个 物理 分 区 ， 对 它 的 读 取 会 产生 MO， 而 /dewnull 是 伪 设 备 ， 相 当 于 黑洞 ，of 到 该 设备 不 会 产生 MO， 所 以 ， 这 个 命令 的 MO 只 发 生 在 /dev/sdb1 上 ， 也 相当 于 测试 磁盘 的 读 能 


例 4: 测试 同时 读 写 的 能 


time dd if=/dev/sdbl of=test1.dbf bs=8k 


这 个 命令 下 ， 一 个 是 物理 分 区 ， 一 个 是 实际 的 文件 ， 对 它们 的 读 写 都 会 产生 MO (对 /dev/sdb1 是 读 ， 对 test1.dbf 是 写 ) ， 假 设 它们 都 在 一 个 磁盘 中 ， 这 个 命令 就 相当 于 测试 磁盘 同时 读 写 的 能 力 。 


可 以 另 开 一 个 会 话 (Session) ， 运 行 命令 “kill-s USR1 pid” ， 用 于 显示 dd 进程 的 MO 统计 ，pid 为 正在 执行 dd 命令 的 进程 id， 命 令 如 下 。 


$ dd if=/dev/zero of=/dev/nul1& Pid=$! 
$ kill -USR1 S$pid; sleep 1; kill $pid 


2.SSD 测 试 


对 于 SSD， 也 可 以 使 用 dd 进行 测试 和 验证 ， 但 对 于 数据 库 负载 ， 为 了 更 好 地 模拟 负荷 ， 建 议 使 用 更 智能 的 工具 进行 测试 ， 如 sysbench，sysbench 的 具体 使 用 方法 ， 请 参考 9.2.2 节 。 


如 下 是 一 些 SSD 的 测试 建议 。 


“ 测试 要 尽 可 能 避免 缓存 (cache) 的 影响 。 任 何 磁盘 产品 ， 在 碰 到 I/O 尊 颈 的 时 候 ， 都 不 可 能 会 很 快 ， 这 个 时 候 才 是 真正 的 磁盘 的 性 能 。 如 果 我 们 在 测试 一 些 数据 库 产品 的 时 候 ， 发 现 有 非常 高 的 吞吐 
率 ， 那 么 就 要 思考 一 下 ， 是 不 是 有 什么 其 他 因素 影响 了 测试 结果 ， 网 上 的 很 多 测评 就 是 陷入 了 这 样 一 个 误区 ， 忽 略 了 缓存 的 影响 ， 这 是 一 个 致命 的 错误 。 


: 要 注意 碎片 、 空 间 占 用 的 影响 。 随 着 使 用 时 间 的 增长 ，SSD 可 能 有 碎片 ， 空 间 占 用 率 也 可 能 上 升 ， 这 个 时 候 性 能 就 可 能 会 下 降 。 一 般 来 说 ， 针 对 SSD 的 测试 需要 较 长 时 间 ， 因 为 可 能 有 垃圾 回收 
(Garbage Collection，GC) 机 制 的 影响 ， 需 要 将 其 考虑 进去 ， 笔 者 个 人 偏向 于 每 种 测试 模型 的 测试 时 长 均 大 于 1 小 时 。 而 有 全， 你 需要 测试 不 同 空间 占用 比 下 的 性 能 ， 现 实 中 ， 一 般 如 果 数 据 库 占 用 了 90% 以 上 
的 磁盘 空间 ， 则 必须 要 考虑 扩容 ， 所 以 对 于 企业 级 应 用 ， 可 以 测试 一 下 几乎 写 满 (>90%) 情况 下 的 性 能 ， 此 时 的 性 能 更 有 参考 价值 。 


“ RAID 卡 、I/O 控 制 器 、 缓 存 等 因素 也 会 影响 到 SSD 的 性 能 。 需 要 留意 这 一 点 ， 高 端 RAID 卡 和 中 低 端 RAID 卡 的 性 能 有 很 大 的 差别 。 


“ 可 测试 单 盘 性 能 ， 如 果 需 要 做 RAID， 那 么 可 测试 一 下 RAID 5 和 RAID1+0。 出 于 节省 成 本 和 空间 的 考虑 ， 有 些 人 使 用 RAID 5。 虽 然 理论 上 RAID 5 的 性 能 会 比较 差 ， 但 RAID 卡 厂商 一 般 专 门 提供 了 优化 
RAID 5 的 技术 ,而 且 很 多 情况 下 I/O 〇 也 不 再 成 为 瓶 诺 了 。 如 果 单 盘 空间 足够 大 且 成 本 合适 的 话 ， 那 么 不 做 RAID， 直 接 测试 单 盘 性 能 也 是 可 以 的 。 


:不仅 要 测试 吞吐 率 ， 还 需要 测试 响应 的 稳定 性 ， 以 反映 真实 的 环境 。 
“ 验证 案例 是 否 覆 盖 了 所 有 的 情况 ， 而 且 要 使 用 成 熟 稳定 的 工具 来 完成 ， 以 免 破坏 数据 。 


“SSD 对 于 温度 会 比较 敏感 ， 需 要 留意 温度 的 影响 。 


9.1.5 ”网 络 测试 


一 般 网 卡 出 故障 的 可 能 性 非常 低 ， 所 以 我 们 可 以 不 用 过 多 地 进行 验证 测试 ， 在 系统 部 署 后 验证 即 可 ， 可 用 ethtool 命 令 验证 网 卡 ， 也 可 以 使 用 专门 的 网 络 评测 工具 进行 验证 ， 还 可 以 通过 网 络 传输 文件 来 
验证 ， 比 如 ， 直 接 ftp 一 个 大 文件 到 ftp 服 务 器 以 验证 网 络 传输 是 否 正 常 。 


9.2 MySQL 测试 


9.2.1 概述 


MySQL 测 试 的 范围 很 广 ， 我 们 出 于 不 同 的 目的 进行 测试 ， 最 常见 的 是 性 能 基准 测试 。 有 时 还 需要 做 一 些 其 他 测试 ， 比 如 ， 验 证 MySQL 的 复制 特性 ， 在 高 并 发 的 压力 下 ， 不 断 破 坏 从 库 (模拟 宕 机 、 磁 
盘 空 间 满 等 情况 ) ， 来 查看 复制 能 否 顺利 进行 。 比 如 ， 通 过 测试 宕 机 下 的 灾难 恢复 性 ， 来 衡量 灾难 恢复 所 需要 的 时 间 等 。 本 节 将 仪 叙 述 MySQL 的 性 能 测试 。 


影响 性 能 测试 的 因素 较 多 ， 除 了 MySQL 自 身 之 外 ， 文 件 系统 、 操 作 系统 块 大 小 、 应 用 访问 模式 、RAID 阵 列 条 带 大 小 等 诸多 因素 都 对 性 能 有 或 多 或 少 的 影响 。 本 章 不 会 对 所 有 类 型 都 进行 测试 ， 但 会 说 
明 测 试 的 方法 及 注意 事项 ， 读 者 可 以 按照 自己 拟定 的 方法 和 步骤 测试 验证 不 同 软 硬 件 设 置 下 的 MySQL 性 能 。 


9.2.2 ”常用 测试 工具 的 介绍 和 使 用 


MySQL 的 测试 工具 ， 推 荐 用 sysbench。 虽 然 hammerora、super-mark、tpc-c 等 一 些 其 他 工具 也 很 强大 ， 但 sysbench 的 文件 |/O 测 试 与 IhnoDB 的 行为 很 相似 ， 针 对 MySQL 也 有 比较 完善 的 测试 模 
型 ， 还 可 以 方便 地 修改 |ua 脚 本 ， 以 实现 更 强大 、 更 灵活 的 测试 功能 。 其 实 ， 设 计 sysbench 的 初 囊 就 是 为 了 衡量 MySQL 的 性 能 ， 而 很 多 其 他 工具 ， 对 于 MySQL 的 支持 往往 只 是 一 个 选项 ， 功 能 还 不 够 强大 ， 
难以 模拟 真实 的 数据 库 负 荷 。MySQL 自 带 的 mysqlslap 也 是 一 个 不 错 的 工具 ， 它 是 从 5.1.4 版 开始 的 一 个 MySQL 官 方 提供 的 压力 测试 工具 ， 可 通过 模拟 多 个 并 发 客户 端 访 问 MySQL 来 执行 压力 测试 。 


这 两 个 工具 可 以 满足 大 部 分 情况 下 的 性 能 测试 和 压力 测试 。sysbench 可 以 自 定义 Ilua 脚 本 ， 开 发 人 员 可 以 编写 适合 自己 业务 逻辑 的 lua 脚 本 。 当 然 也 可 以 使 用 其 他 高 级 语言 编写 测试 工具 ， 这 样 会 更 灵 
活 ， 更 接近 实际 业务 数据 库 操作 。 


1.sysbench 的 使 用 


目前 sysbench 主 要 支持 MySQL、PostgreSQL、Oracle 这 3 种 数据 库 。 


它 主要 包括 以 下 几 种 方式 的 测试 。 


' Fileio: 文件 IO 测试 。 

: Cpu: CPU 性 能 测试 。 

“ Memory: 内 存 性 能 测试 。 

' Threads: 线程 性 能 测试 。 

* Mutex: Mutex 性 能 测试 。 

“ Oltp: OLTP 测 试 ，MySQL 一 般 会 选择 此 种 测试 类 型 。 


(1) 安装 


首先 ， 从 https://github.com/akopytov/sysbench 下 载 源码 包 ， 单 击 Download Zip。 然 后 ， 按 照 如 下 步骤 进行 安装 。 


unzip sysbench-0.5.zip 

cd sysbench-0.5 

./autogen.sh 

./configure --with-mysql-includes=/usr/local/mysql/include --with-mysql-libs=/usr/local/mysql/1ib 
make 

make install 


如 上 的 参数 进行 编译 的 话 ， 需 要 确保 你 的 MySQL lib 目 录 下 有 对 应 的 库 文件 ， 如 果 没 有 ， 则 可 以 下 载 devel| 或 share 包 来 进行 安装 。 也 可 以 下 载 MySQL 的 二 进 制 安装 包 解压 到 /usr/local/mysqI 下 。 


(2) 开始 测试 


在 sysbench--test=memory 命 令 后 添加 help 可 以 查看 帮助 。 


sysbench --test=memory help 


一 些 参 数 解析 如 下 。 
-percentile 95%: 响应 时 间 ， 也 就 是 删除 5% 的 响应 时 间 最 长 的 请 求 ， 然 后 从 剩余 的 请 求 中 选取 最 大 的 响应 时 间 值 。 
“ --max-time: 运行 时 间 限 制 ， 单 位 是 秒 。 
: --num-threads: 线程 数 。 
. -max-requests: 查询 数 限制 。 
下 面 来 举例 说 明 。 


1) CPU 性 能 测试 。 


sysbench --test=cpu --cpu-max-prime=20000 run 


CPU 测试 主要 是 进行 素数 的 运算 ， 在 上 面 的 例子 中 ， 指 定 了 最 大 的 素数 为 20000， 也 可 以 根据 机 器 CPU 的 性 能 来 适当 调整 数值 。 
如 下 命令 ， 执 行 20s 就 输出 了 ， 而 不 会 等 待命 令 执 行 完 。 


sysbench --test=cpu --CPu-max-prime=20000 run --max-time=20 


2) 线程 测试 。 


sysbench --test=threads --num-threads=64 --thread-yields=1000 --thread-locks=8 run 


3) 磁盘 /O 性 能 测试 。 


sysbench --test=fileio --num-threads=16 --file-total-size=12G --file-test-mode=rndrw prepare 
sysbench --test=fileio --num-threads=16 --file-total-size=12G --file-test-mode=rndrw run 
sysbench --test=fileio --num-threads=16 --file-total-size=12G --file-test-mode=rndrw cleanup 


上 述 代码 分 为 3 个 步骤 ， 第 一 条 命令 初始 化 文件 ， 第 二 条 命令 执行 测试 ， 第 三 条 命令 清理 文件 。--num-threads 参 数 指定 了 最 大 创建 16 个 线程 ，--file-total-size 参 数 指定 创建 文档 的 总 大 小 为 12GB，-- 
file-test-mode 指 定 文档 的 读 写 模式 为 随机 读 写 。 


磁盘 I/O 性 能 测试 是 进行 数据 库 基准 测试 时 要 着 重 加 以 研究 的 。 我 们 需要 衡量 各 种 因素 ， 比 如 操作 类 型 、 读 写 的 频率 、I/O 大 小 、 是 随机 读 写 还 是 顺序 读 写 、 写 的 类 型 是 异步 还 是 同步 、 并 发 线程 情况 、 
操作 系统 缓存 状态 及 文件 系统 有 哪些 调 优等 因素 。 


文件 测试 类 型 (file-test-mode) 有 如 下 几 种 。 
“seqwr; 顺序 写 。 

“ seqrewr; 顺序 重 写 (rewtite) 。 

“ seqrd: 顺序 读 。 

“ mdrd: 随机 读 。 

“ mdwr: 随机 写 。 

“ mdrw:; 随机 读 写 。 


4) 内 存 测试 。 


sysbench --test=memory --memory-block-size=8K --memory-total-size=4G run 


上 述 参数 指定 了 本 次 测试 的 整个 过 程 是 在 内 存 中 传输 4GB 的 数据 量 ， 每 个 块 (block) 的 大 小 为 8KB。 


5) OLTP 测 试 。 


在 测试 之 前 请 预先 创建 数据 库 ， 并 给 予 测 试用 户 足够 的 权限 。 


mysql > create database sbtest; 
mysql > grant all privileges on sbtest.* to test@’ localhost’ identified by ‘test’ ; 


如 下 例子 演示 了 多 线程 如 何 测试 MySQL。 


首先 初始 化 数据 。 


sysbench --test=./sysbench/tests/db/oltp.lua --mysql-table-engine=innodb --oltp-tables-count=256 --oltp-table-size=1000000 --mysql-user=test --mysql-password=test --mysql-sc 


参数 --mysql-db 来 指定 其 


上 述 参数 指定 了 本 次 测试 的 表 存 储 引 警 类 型 为 InnoDB， 指 定 了 表 的 最 大 记录 数 为 1000000， 初 始 化 生成 256 个 表 。 测 试 OLTP 时 ， 可 以 自己 先 创建 数据 库 sbtest， 或 者 自己 
他 数据 库 。 


然后 进行 实际 测试 ， 测 试 模型 是 OLTP， 并 发 8 个 线程 ， 执 行 1 个 小 时 ， 如 下 : 


sysbench --test=./sysbench/tests/db/oltp.lua --oltp-tables-count=256 --oltp-table-size=1000000 --mysql-user=test --mysql-password=test --mysql-socket=/tmp/mysql.sock --max-ti 


其 中 ，--report-interval=10 表 示 每 10s 就 输出 一 次 数据 ， 输 出 格式 类 似 如 下 。 


[ 10s] threads: 2, tps: 290.39, reads: 4065.82, writes: 1161.58, response time: 8.65ms (95%), errors: 0.00, reconnects: 0.00 
[ 20s] threads: 2, tps: 270.90, reads: 3795.10, writes: 1083.80, response time: 10.14ms (95%), errors: 0.00, reconnects: 0.00 
[ 30s] threads: 2, tps: 277.40, reads: 3883.50, writes: 1109.40, response time: 9.82ms (95%), errors: 0.00, reconnects: 0.00 
[ 40s] threads: 2, tps: 273.50, reads: 3828.09, writes: 1094.00, response time: 9.93ms (95%), errors: 0.00, reconnects: 0.00 


测试 完成 后 ， 清 理 数据 。 


sysbench --test=./sysbench/tests/db/oltp.lua  --oltp-tables-count=256 --oltp-table-size=1000000 --mysql-user=test --mysql-password=test --mysql-socket=/tmp/mysql.sock cleanuF 


2.mysqlslap 的 使 用 


mysqlslap 是 MySQL 5.1.4 及 以 后 版 本 自 带 的 一 个 用 于 实现 负载 性 能 测试 和 压力 测试 的 工具 。 它 可 以 模拟 多 个 客户 端 对 数据 库 进行 施 压 ， 并 生成 报告 以 衡量 数据 库 的 一 些 指标 。 


其 工作 原理 可 分 为 如 下 三 个 步骤 。 


nik 


首先 生成 测试 数据 ， 即 创建 表 ， 导 入 数据 。 这 个 步骤 将 使 用 单个 客户 端 连接 执行 。 


2) 然后 运行 性 能 测试 ， 可 以 使 用 单线 程 或 多 线程 。 


Wo 


最 后 清理 测试 数据 。 这 个 步骤 将 使 用 单个 客户 端 连接 执行 。 


一 些 使 用 示例 如 下 所 示 。 参 数 的 具体 说 明 请 参考 官方 文档 。 


分 别 并 发 10 个 线程 或 100 个 线程 进行 混合 测试 。 


mysqlslap --uroot --engine=innodb --auto-generate-sql \--auto-generate-sql-unique-query-number=100 --auto-generate-sql-unique-write-number=100 --auto-generate-sql-write-numbe 


以 上 命令 的 大 致 步骤 是 ， 首 先生 成 1000 条 数据 (--number-of-queries=1000) ， 然 后 进行 混合 测试 (--auto-generate-sql-load-type=mixed，SELECT 操 作 和 INSERT 操 作 大 致 各 占 一 半 ) ， 此 时 数 
据 会 不 断 增 长 。 


然后 ， 先 使 用 10 个 并 发 线程 进行 测试 ， 再 用 100 个 并 发 线程 进行 测试 (--concurrency=10,100) ， 进 行 新 的 并 发 测试 前 会 清理 和 初始 化 测试 数据 。 


需要 留意 的 是 ， 自 动 生成 的 SELECT 语句 是 全 表 扫描 ， 语 句 如 下 。 


SELECT :intcoll, intcol2, intcol3, intcol4, intcol15, intcol6, intcol7,intcol8,charcol1 FROM tl 


INSERT 语 句 类 似 如 下 。 


INSERT? INTO tl VALUES (uuid(),389111603,476395693,1231278962,1952007439,1880139043,1004384052, 914532http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/t 


2) 测试 基于 主键 查找 的 性 能 。 


time mysqlslap -uroot --engine=innodb --auto-generate-sql-load-type=key \--auto-generate-sql --auto-generate-sql-write-number=100000 --auto-generate-sql-guid-primary \--numk 


以 上 命令 的 大 致 步骤 是 ， 首 先 创建 一 个 表 ， 使 用 单线 程 初始 化 插入 100000 条 记录 ， 然 后 并 发 10 条 线程 执行 基于 主键 的 查询 。 接 着 删除 库 表 ， 再 初始 化 插入 100000 条 记录 ， 然 后 并 发 100 条 线程 执行 基于 
主键 的 查询 。 基 于 主键 的 查询 可 能 被 缓存 ， 所 以 有 必要 生成 不 同 的 SELECT 语句 。 


3) 生成 一 张 两 干 万 条 记录 的 表 ， 进 行 混合 型 负荷 测试 (SELECT+INSERT) ， 语 句 如 下 。 


mysqlslap -uroot -p --engine=innodb --auto-generate-sql --auto-generate-sql-write-number=20000000 --auto-generate-sql-add-autoincrement --auto-generate-sql-secondary-indexes=2 


以 上 命令 的 大 致 步骤 是 ， 初 始 化 记录 时 使 用 自 增 主键 (--auto-generate-sql-add-autoincrement) 并 发 50 个 线程 进行 查询 ， 一 共 执 行 100 万 个 查询 ， 也 就 是 说 平均 每 个 线程 大 概 执行 2 万 个 查询 ， 如 果 
有 自 增 ID， 那 么 SELECT 语句 是 基于 自 增 ID 的 ， 这 样 更 能 反映 生产 环境 实际 情况 。 


对 于 如 上 的 命令 ， 一 台 普通 的 数据 库 服务 器 (SAS 硬 盘 三 块 : SAS 15K 300G*3， 做 成 了 RAID 5) ， 初 始 化 过 程 中 大 概 会 插入 2000 万 条 记录 ， 到 达 1500 万 条 记录 的 时 候 ，INSERT 速 率 大 概 可 以 达到 
6000~7000 条 记录 每 秒 。iostat 命 令 显示 每 秒 写 入 20MB~30MB 的 数据 。 


插入 2000 万 条 记录 ， 初 始 化 完成 后 ， 开 始 并 发 50 条 线程 进行 混合 测试 ， 同 时 有 INSERT 和 SELECT 操作 。 大 概 每 秒 执行 INSERT 操 作 600 次 ，SELECT 操 作 500 次 。 
9.2.3 “MySQL 基准 测试 模型 
1. 指 引 


基准 测试 的 目的 之 一 是 在 平时 做 好 数据 准备 ， 记 录 标 准 的 数据 库 软 硬件 配置 下 的 性 能 数据 ， 以 便 在 未 来 更 改 数据 库 配 置 或 调整 升级 数据 库 主机 时 有 一 个 参照 。 很 多 人 在 新 机 器 上 线 后 不 想 做 基准 测试 ， 
认为 基准 测试 繁琐 、 耗 时 ， 而 且 难 以 度量 。 如 果 不 是 标准 化 的 采购 、 安 装 、 部 署 ， 就 很 难说 主机 配置 得 完全 正确 ， 所 以 ， 如 果 有 一 个 工具 可 以 预先 针对 CPU、 磁 盘 、 网 络 、 数 据 库 进行 压力 测试 ， 验 证 硬件 


是 否 已 经 正确 配置 ， 就 省 事 多 了 。 我 们 还 可 以 把 基准 测试 的 历史 数据 记录 下 来 ， 在 以 后 进行 选 购 或 升级 软 硬 件 的 时 候 ， 再 重新 进行 基准 测试 ， 从 而 验证 软 硬 件 的 升级 效果 。 


基准 测试 的 一 个 重要 环节 就 是 基准 测试 模型 ， 我 们 需要 一 个 相对 简单 、 高 效 ， 实 现 起 来 成 本 比较 低 的 模型 。 想 用 测试 模型 来 真实 反映 现实 的 生产 环境 是 很 难 做 到 的 ， 但 是 我 们 可 以 按照 数据 库 的 理论 和 
实践 ， 设 置 一 些 比较 能 够 反映 生产 负荷 的 输入 条 件 ， 评 估 测 试 的 输出 指标 ， 从 而 建立 可 以 用 来 衡量 数据 库 架 构 、 软 硬件 配置 的 基准 模型 。 


以 下 将 介绍 下 具体 的 思路 和 设计 方法 。 

“ 当 我 们 选择 硬件 的 时 候 ， 需 要 考虑 到 各 项 成 本 ， 对 于 项 目 风险 、 开 发 成 本 和 维护 成 本 比较 难以 衡量 ， 而 计算 机 性 能 相对 来 说 是 更 好 地 限定 和 比较 的 ， 所 以 可 以 考虑 建立 一 个 MySQL 的 基准 测试 模型 。 
“ 性 能 测试 很 难 模拟 真实 环境 的 负荷 ， 一 般 使 用 比较 简单 的 模型 ， 因 为 真实 环境 下 的 负荷 具有 不 确定 、 变 化 较 大 、 复 杂 且 难以 理解 竺 特点， 故而 难以 得 出 结论 ， 不 容易 对 比 。 

“ 单个 产品 的 基准 测试 ， 主 要 用 于 对 比 版 本 和 衡量 软 硬 件 调整 的 效果 ， 对 于 整个 应 用 系统 的 测试 没有 太 大 的 参考 意义 ， 应 用 系统 自己 的 基准 测试 模型 会 比 单个 MYSQL 测 试 模型 更 全 面 更 准确 。 

“ 明确 目标 后 ， 再 进行 基准 测试 ， 才 能 更 好 地 选择 工具 和 测试 方法 。 

“ 如 果 是 SSD， 建 议 文件 的 最 大 空间 不 超过 磁盘 空间 的 85%， 以 避免 SSD 空 间 占 比 可 能 带 来 的 性 能 下 降 。 

“ 除了 关注 吞吐 率 (TPS) ， 还 需要 关注 响应 时 间 (response time) 。 


“ 需要 留意 并 发 性 (concurrency) ， 如 MySQL Server 同 时 运行 的 线程 数 (threads_running) 和 伸缩 性 (scalability) 等 。 假如 我 们 增加 了 一 倍 线程 ， 那 么 好 的 伸缩 性 就 意味 着 系统 的 吞吐 也 可 以 线性 地 增加 
一 倍 ， 或 者 说 当 我 们 增加 了 一 倍 的 硬件 资源 ， 那 么 系统 的 吞吐 也 可 以 翻 售 。 


“ 基准 测试 需 运行 足够 长 的 时 间 。 关 于 数据 预 热 所 需要 的 时 间 ， 一 般 查 看 吞吐 量 的 曲线 图 就 可 以 大 致 判断 出 来 ， 很 多 情况 下 ， 可 能 需要 运行 半 个 小 时 以 上 才 会 稳定 下 来 。 


“ 尽量 确保 测试 结果 在 同样 的 配置 下 可 以 重 现 。 
“ 衡量 MySQL 性 能 需要 考虑 诸多 因素 ， 包 括 但 不 限于 以 下 这 些 因 素 。 
' 硬件 : CPU 速度 、CPU 架 构 、CPU 个 数 、CPU 核 数 、 总 线 速 度 、 内 存 访问 速度 、 设 备 I/O 〇 性 能 、RAID 卡 、 磁 盘 条 带 、 块 大 小 、 网 络 设备 。 
“ 操作 系统 : 原生 API 性 能 、 线 程 、 锁 、 内 存 、1/O 〇 调度 算法 。 
“ 客户 端 连 接 次 数 。 
“ 数据 库 服务 器 处 理 任务 的 线程 个 数 。 
“ 数据 库 设 计 。 


“ 数据 


te 


. 应 用 类 型。 
. 数据 访问 模式 : 一 般 来 说 我 们 的 应 用 热点 数据 较 小 ， 读 远大 于 写 。 如 果 你 的 应 用 热点 数据 比较 大 ， 访 问 各 种 数据 比较 分 散 ， 分 布 比较 均匀 ， 那 么 这 种 测试 更 考验 了 数据 库 的 原始 性 能 。 


“ 数据 库 版 本 : 社区 版 、 企 业 版 还 是 第 三 方 分 支 版 本 。 


: 数据 库 配 置 。 比 如 NUMA 策 略 、 页 块 大 小 (Page size) 、 是 独立 表 空间 还 是 共享 表 空间 、 顺 序 访问 和 随机 访问 文件 的 分 布 、InnoDB buffer pool 的 大 小 及 其 他 一 些 影响 重大 的 参数 。 
“ 重要 的 参数 修改 ， 每 次 尽 可 能 少 更 改 点 参数 ， 一 次 更 改 太 多 的 参数 不 容易 判断 问题 的 所 在 。 
2. 模 型 简介 


以 下 是 一 个 测 斌 MySQL 数据 库 的 简单 模型 。 


## 对 每 种 测试 类 型 

## 对 各 种 并 发 线程 数 

## 对 指定 的 表 个 数 

间 # 对 不 同 表 大 小 

## prepare 

并 # sysbench 测试 ， 默 认 测试 1200s 
### cleanup 

本 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 结束 测试 一 一 = 一 -一 一 = 一 一 一 一 一 

测试 类 型 一 般 选择 oltp。 对 于 单个 表 ， 将 按 顺序 执行 如 下 操作 。 


1) 几 个 基于 主键 的 查询 。 


2) 主键 范围 查找 。 


3) 主键 范围 查找 + 聚合 函数 。 


4) 主键 范围 查找 + 文件 排序 。 


5) 主键 范围 查找 + 临时 表 + 文 件 排序 。 


6) 更 新 操作 (基于 主键 查询 ) 。 


7) 删除 操作 (基于 主键 查询 ) 。 


8) 插入 操作 。 


9) 提交 。 


由 于 sysbench 官 方 版 本 的 oltp 模 型 里 没有 复杂 的 查询 连接 (JOIN) 操作 ， 但 两 三 个 表 的 连接 又 是 比较 普遍 的 ， 因 此 可 以 考虑 更 改 下 官方 的 oltp 测 试 模型 ， 以 反映 真实 的 生产 负荷 。 


3. 测 试 脚本 示例 


如 下 是 一 个 按照 上 面 的 模型 编写 出 的 脚本 示例 ， 这 里 将 叙述 它 所 实现 的 功能 ， 以 及 分 析 几 个 测试 脚本 的 输出 结果 。 测 试 脚本 的 代码 请 到 www.db1110.com 上 下 载 。 


测试 脚本 可 实现 如 下 功能 。 


1) 收集 操作 系统 、 硬 件 信息 和 MySQL 脚 本 信息 。 如 下 是 收集 到 的 一 些 信息 。 


一 st 一 一 


Hostname | XXXX 
Release | Red Hat Enterprise Linux Server release 5.4 (Tikanga) 
Processors | physical = 2, cores = 8, virtual = 16, hyperthreading = yes 
Models | 16xIntel (R) Xeon (R) CPU E5520 @ 2.27GHz 
Total | 15.6G 
# RAID Control1ler ### 拓 术 提 大 提 提 拓 社 提 振 提 拓 社 折 大 提 拓 六 提 振 提 持 拓 社 提 拓 寺村 并 社 提 扩 寺村 并 社 提 埋 # 
Controller | No RAID controller detected 
# Disk Schedulers And Queue Size #### 提 # 提 提 提 提 提 提 提 拓 提 折 持 扩 持 提 扩 提 村 提 村 提 失 
sda | [cfq] 128 
”sdb | [cfa] 


#1 Report 0 On Port 3306 pvr rr 


User | root@localhost 
Hostname | xxxxxx 
Version | 5.1.58-1og MySQL Community Server (GPL) 
Built On | unknown-linux-gnu x86 64 
Databases | 5 加 


# Table cache WA A A DE A A td 
Size | 
# InnoDB PP 
Version | default 
Buffer Pool Size | 2.5G 
File Per Table | OFF 
Page Size | 16k 
Log File Size | 2 * 360.0M = 720.0M 
Flush Log At Commit | 2 
Thread Concurrency | 16 
Txn Isolation Level | READ-COMMITTED 
sync binlog | 20 
innodb max dirty pages pct = 50 


2) 可 以 在 脚本 中 调整 MySQL 的 参数 设置 。 


3) 收集 操作 系统 的 性 能 信息 ， 在 测试 期 间 的 内 存 、CPU、 磁 盘 等 各 种 信息 都 应 该 收集 起 来 ， 不 管 目前 有 没有 用 ， 收 集 尽 可 能 多 的 信息 会 方便 自己 以 后 的 分 析 。 


4) 能 使 用 sysbench 的 oltp 模 型 进行 测试 ， 并 且 能 够 生成 图 形 。 


以 下 是 性 能 测试 脚本 的 运行 结果 ， 我 们 将 对 这 些 测试 完成 后 生成 的 图 形 做 一 些 分 析 。 


例 1: 图 9-1 是 不 同 线程 (thread) 数量 的 时 候 ， 事 务 吞吐 率 (tps) 的 变化 图 ， 数 据 小 于 InnoDB 缓 冲 池 (0.7382*buffer) 。 


图 9-1 中 所 示 的 MySQL 实 例 有 256 张 表 ， 每 张 表 有 3 万 记录 ， 数 据 小 于 InnoDB 缓 冲 区 。 随 着 线程 数量 的 增加 ， 事 务 吞吐 率 会 缓慢 下 降 ， 这 说 明 等 待 的 时 间 在 增长 ， 从 而 导致 事务 吞吐 率 下 降 。 


oltp, 256 tables, 30000 rows each,.7382*buffer=1909M 


0 20 40 60 


80 100 120 140 
threads 


对 于 线程 数量 不 断 增 加 的 数据 库 测试 ， 性 能 吞吐 率 曲线 最 开始 往往 是 线性 增长 的 ， 但 终 将 到 达 一 个 拐点 ， 可 能 到 达 拐 点 的 时 候 ， 是 因为 某 项 资源 出 现 了 瓶颈 ， 对 资源 的 竞争 将 开始 影响 到 性 能 。 比 如 区 


9-1 的 压力 测 


快 ; 但 如 果 是 内 存 瓶 巴 ， 则 属于 另外 一 种 情况 ， 性 能 可 能 会 急剧 变 差 ; 磁盘/O 瓶 颈 同样 可 能 导致 急剧 的 性 能 变 差 ， 请 参见 下 面 例 2 的 图 。 


图 9-1 数据 小 于 缓冲 ， 线 程 数 改变 时 事务 吞吐 率 的 变化 


试 中 ， 随 着 线程 数量 的 增加 ， 香 吐 率 也 在 增加 ， 但 如 果 存在 过 多 的 线程 ， 由 于 CPU 资 源 不 够 ， 将 导致 频繁 的 上 下 文 切 换 ， 从 而 导致 延 时 增加 。 如 果 是 CPU 资 源 的 瓶颈 ， 那 么 性 能 下 降 得 不 是 很 


例 2: 图 


9-2 和 图 9-1 类 似 ， 描 述 了 不 同 线程 数 下 事务 吞吐 率 的 变化 ， 不 过 数据 占用 空间 远 远大 于 InnoDB 缓 冲 池 (4.8573*buffer) 。 可 以 看 到 事务 吞吐 率 已 经 大 大 下 降 了 。 


例 3: 图 


9-3 描 述 了 不 同 数据 量 下 ， 事 务 吞吐 率 的 变化 。 在 8 个 线程 、256 张 表 的 情况 下 ， 随 着 数据 量 的 增长 ， 事 务 吞吐 率 逐 渐 下 降 。 随 着 数据 的 不 断 增长 ，3 万 记录 也 逐渐 增长 到 5 万 、10 万 、20、30 


万 ， 事 务 吞吐 率 则 从 1500tps 下 降 到 了 400 tps。 


由 此 可 以 证 明 ， 热 点 数据 能 否 缓存 在 内 存 中 ， 对 事务 的 吞吐 率 影响 是 很 大 的 。 


例 4: 图 9-4 由 多 个 子 图 构成 ， 分 别 展示 了 事务 吞吐 、 读 、 写 、 响 应 时 间 随 时 间 变化 的 曲线 。 数 据 库 实例 的 数据 空间 占用 小 于 InnoDB 缓 冲 (0.7382*buffer) 。 
对 于 我 们 来 说 ， 更 有 效 的 数据 是 性 能 趋 于 稳定 后 的 数据 ， 大 家 做 测试 的 时 候 ， 一 定 要 确认 自己 是 否 已 经 运行 了 足够 长 时 间 ， 可 以 简单 地 通过 查看 事务 吞吐 率 是 否 趋 于 稳定 来 衡量 时 间 的 长 短 。 
oltp, 256 tables, 200000 rows each, 4.8573*buffer=12561M 
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图 9-2 ”数据 远大 于 缓冲 ， 线 程 数 改变 时 事务 吞吐 率 的 变化 
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图 9-3 不 同 数据 量 下 ， 事 务 春 吐 率 的 变化 


例 5: 图 9-5 说 明了 磁盘 的 |/O 尊 有 颈 可 能 会 导致 性 能 急剧 变 差 。 


可 以 看 到 在 数据 远大 于 InnoDB 缓 冲 (4.8573*buffer) 的 时 候 ， 事 务 吞吐 率 下 降 了 很 多 。 且 随 着 时 间 的 增长 ， 有 时 会 突然 出 现 性 能 急剧 下 降 的 情况 ( 见 图 9-5 中 长 的 “毛刺 ”) 。 这 主要 是 MySQL 刷 新 
数据 的 机 制 不 够 完善 所 导致 的 。 高 并 发 读 写 的 数据 库 负载 很 可 能 会 出 现 此 种 情况 ， 且 MySQL 5.1 很 难 避 免 出 现 这 种 情况 。 必 须 承 认 这 是 一 个 固有 的 缺陷 ， 需 要 想 办 法 尽 可 能 地 避免 。MySQL 5.6 对 此 有 一 定 
的 改善 。 


4 基准 测试 的 不 足 及 注意 事项 


“ 不 容易 测试 系统 的 其 他 特性 : 稳定 性 、 安 全 性 、 扩 展 性 、 可 用 性 、 灾 难 恢复 性 等 。 
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图 9-4 ”数据 小 于 InnoDB 缓 冲 池 时 ， 事 务 吞吐 率 、 读 、 写 、 响 应 时 间 随 时 间 的 变化 
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oltp,16 threads,256 tables,30000 rows each. .7382 * buffer=1909M 
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oltp,16 threads,256 tables,30000 rows each. .7382 * buffer=1909M 
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图 9-4 《〈 续 ) 
“ 没有 计算 成 本 (磁盘 、 内 存 等 ) ， 但 即使 计算 了 成 本 ， 也 可 能 会 被 厂商 欺骗 ， 厂 商会 使 用 最 优 的 配置 ， 以 尽 可 能 低 的 成 本 支撑 更 大 的 吞吐 。 
“ 没有 衡量 能 源 消耗 。 
“ 没有 考虑 到 复杂 的 网 络 环境 。 


“ 用 户 考虑 的 是 这 个 产品 能 够 满足 何 种 服务 品质 协议 (service-level agreement) ， 比 如 说 99.99% 的 时 间 是 可 用 的 ， 而 基准 测试 更 多 考虑 的 是 能 够 达到 的 平均 分 数 。 一 般 测 试 报告 列 出 的 可 能 是 80%~90% 的 
系统 资源 使 用 率 下 的 数据 ， 没 有 考虑 系统 资源 严重 瓶颈 ， 而 现实 中 往往 并 非 如 此 ， 在 系统 资源 出 现 严重 瓶颈 时 ， 性 能 、 安 全 性 、 稳 定性 可 能 急剧 下 降 。 


oltp,16 threads,256 tables,200000 rows each. 4.8573 * buffer=12561M 
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oltp,16 threads,256 tables,200000 rows each. 4.8573 * buffer=12561M 
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图 9-5 ”数据 远大 于 InnoDB 缓 冲 时 ， 事 务 吞 吐 率 、 读 、 写 、 响 应 时 间 随 时 间 的 变化 


oltp,16 threads,256 tables,200000 rows each. 4.8573 * buffer=12561M 
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500 1000 1500 2000 2500 3000 3500 
time(seconds) 


图 9-5 〈 续 ) 
:一般 来 说 ， 新 版 本 的 功能 更 强 ， 优 化 器 更 复杂 ， 更 擅长 处 理 复杂 的 查询 。 在 高 并 发 和 大 数据 集 下 会 更 具备 优势 。 
“ 可 能 很 难 模拟 复杂 的 实际 访问 。 
: 针对 不 同 问题 设计 负荷 ， 比 如 ， 是 模拟 计算 密集 型 (CPU-bound) 的 负荷 还 是 I/O 密 集 型 (I/O-bound) 的 负荷 呢 ? 


“ 向 上 扩展 (scale-up) 可 以 提高 吞吐 ， 但 存在 一 个 最 佳 配 置 ， 超 过 这 个 配置 后 ， 吞 吐 不 会 再 有 明显 增加 。 即 使 增加 了 CPU、 增 大 了 内 存 ， 增 加 了 更 快速 的 硬盘 ， 往 往 还 是 得 不 到 更 高 的 性 能 ， 瓶 颈 点 在 
于 数据 库 自身 的 等 待 而 不 是 硬件 ，MYSQL 数 据 库 难以 充分 利用 硬件 资源 ， 所 以 生产 环境 更 倾向 于 多 实例 部 署 ， 倾 向 于 不 那么 强劲 的 服务 器 主机 。 


“ 研发 、 测 试 人 员 往 往 不 擅长 做 数据 库 的 压力 测试 ， 可 能 存在 的 问题 包括 不 熟悉 硬件 ， 测 试 时 MySQL Server 的 参数 并 没有 经 过 优化 ， 没 有 使 用 足够 多 的 真实 可 靠 的 数据 ， 没 有 运行 足够 长 时 间 的 测试 计 
划 以 预 热 数据 等 。 如 果 可 能 ， 应 该 提供 生产 环境 的 真实 数据 供 研发 、 测 试 人 员 测 试 ， 可 以 考虑 的 一 个 方法 是 重 放 日 志 来 模拟 负载 ， 但 必须 也 要 模拟 多 线程 并 发 的 场景 。 


“ 生产 环境 数据 库 和 Web 服 务 器 一 般 分 布 在 不 同 的 主机 上 ， 严 格 来 说 ， 测 试 工具 部 署 在 非 数 据 库 机 器 上 更 好 ， 但是， 测试 工具 、 客 户 端 和 数据 库 在 同一 台 机 器 上 做 测试 一 般 也 是 可 行 的 。 


9.3 ”应 用 数据 库 性 能 测试 


数据 库 的 性 能 测试 可 能 是 由 其 他 团队 来 实施 ， 而 不 是 由 DBA 来 完成 的 ， 由 于 关注 的 重心 不 一 样 ， 使 用 的 工具 不 一 样 ， 可 能 分 析 的 结果 也 会 有 偏差 ， 但 只 要 我 们 了 解 了 测试 的 本 质 ， 熟 悉 了 数据 库 ， 就 可 
以 阅读 其 他 部 门 和 团队 所 做 的 数据 库 测试 报告 ， 从 而 得 出 自己 认可 的 结果 。 


一 般 研 发 、 测 试 人 员 可 能 会 专门 使 用 一 些 Web 测 试 工具 ， 如 Apache 自 带 的 工具 ab， 包 括 http_ load、Webbench、Siege、JMeter 等 。 这 些 工具 会 调用 一 些 Web 页面 程序 ， 对 数据 库 间接 进行 施 压 ， 如 
果 选 择 的 测试 模型 和 步骤 合适 ， 往 往 比 直接 使 用 工具 对 数据 库 进 行 压力 测试 更 合理 。 


应 用 负载 往往 是 复杂 的 ， 很 难 去 模拟 ， 即 使 是 企业 级 的 测试 工具 也 难以 重 现 生产 环境 ， 有 兴趣 的 读者 可 以 去 试用 一 下 tcpcopy 这 个 工具 ， 它 可 以 把 生产 环境 的 流量 复制 到 测试 环境 中 ， 对 于 测试 数据 库 
的 性 能 很 有 帮助 ， 尤 其 是 测试 只 读 的 MySQL 从 库 。 


@, \ 结 ”本 章 介绍 了 MySQL 的 一 个 基准 测试 模型 ， 比 较 简单 ， 大 家 可 以 在 上 面 加 入 自己 的 想法 。 随 着 读者 MySQL 水 平 的 提高 ， 会 逐渐 意识 到 性 能 测试 的 重要 性 。 如 果 需 要 提高 自身 的 软 硬 件 架构 功力 ， 
就 一 定 要 多 做 性 能 测试 ， 通 过 性 能 测试 ， 可 以 对 数据 架构 有 更 深刻 的 理解 。 由 于 数据 库 性 能 测试 很 耗 时 、 繁 珊 ， 因 此 尽 可 能 使 用 自动 化 测试 。 数 据 库 性 能 测试 的 方法 和 结果 也 应 该 分 享 给 其 他 团队 ， 让 他 们 
把 握 当 下 坎 硬 件 的 能 力 和 极限 ， 减 少 沟通 成 本 ， 避 免 错误 决策 。 


第 四 部 分 “ 运 维 篇 


首先 来 了 解 一 下 数据 库 的 定义 ， 数 据 库 是 高 效 的 、 可 靠 的 、 易 用 的 、 安 全 的 多 用 户 存储 引擎 ， 我 们 可 以 通过 它 访问 大 量 的 持久 化 数据 。 我 们 管理 和 维护 数据 库 ， 本 质 上 也 是 要 确保 如 上 的 特性 ， 尽 可 能 
地 保证 数据 库 的 高 效 、 可 靠 、 易 用 、 安 全 、 高 并 发 和 高 吞吐 。 

比如 ， 对 于 安全 ， 我 们 要 尽量 避免 因 各 种 软件 、 硬 件 、 操 作 错误 而 导致 的 数据 丢失 或 损毁 。 对 于 高 并 发 ， 也 要 求 我 们 在 访问 控制 、 并 发 控制 上 做 适当 的 设置 和 调 优 。 数据 库 系统 也 应 该 是 易 用 的 ， 应 尽 
可 能 地 做 到 对 应 用 程序 透明 ， 研 发 人 员 不 用 去 关心 具体 的 物理 存储 对 于 应 用 程序 的 影响 。 数 据 存储 在 磁盘 上 的 方式 和 布局 应 与 程序 认为 的 逻辑 结构 无 关 。 数 据 库 系统 应 该 是 高 效 的 ， 比 如 能 够 处 理 高 并 发 的 
请 求 ， 能 够 处 理 复杂 的 查询 ， 或 者 能 够 计算 大 量 的 数据 。 MySQL 处 理 复杂 查询 的 能 力 目前 还 不 太 好 ， 对 大 数据 的 分 析 处 理 也 不 是 强项 ， 但 对 于 互联 网 的 OLTP 应 用 ， 如 果 设 置 、 调 优 得 当 ， 得 到 较 高 的 吞吐 牵 
其 实 并 不 是 一 件 难事 。 此 外 ， 数 据 库 也 应 该 是 可 靠 的 、 高 可 用 的 ， 数 据 库 运 维 很 重要 的 一 个 指标 就 是 服务 的 可 用 性 ， 如 果 不 能 提供 持续 稳定 的 服务 ， 那 么 其 他 指标 再 好 也 没有 用 。 

运 维 篇 将 首先 介绍 数据 库 运 维 的 一 些 基 础 知识 ， 接 着 再 介绍 各 种 维护 任务 所 需要 的 知识 和 技能 ， 如 监控 、 复 制 、 升 级 、 迁 移 、 备 份 和 恢复 。 然 后 通过 一 些 案例 给 读者 讲述 一 些 维护 技巧 及 如 何 处 理 问 
题 。 数 据 库 运 维 从 来 都 不 仅仅 是 一 个 技术 问题 ， 本 篇 最 后 将 讲述 规模 化 运 维 管理 的 一 些 原则 、 经 验 总 结 和 认 知 。 


第 10 章 “基础 知识 


笔者 在 此 假设 本 书 的 读者 是 熟悉 Unix 或 Linux 操 作 系统 的 ， 至 少 会 进行 一 般 的 操作 ， 这 本 书 不 会 讲述 操作 系统 的 学 习 和 脚本 语言 的 撰写 ， 如 果 你 是 一 个 初学 者 ， 那 么 建议 先 阅 读 一 些 入 门 图 书 ， 比 如 
《Unix&Linux 大 学 教程 》、《 鸟 哥 的 Linux 私 房 菜 》、《Linux 命 令 行 与 Shell 脚 本 编程 大 全 》 等 。 读 者 还 需要 搭建 自己 的 学 习 和 测试 环境 ， 配 备 了 基础 的 学 习 环 境 并 懂得 构建 自己 的 测试 环境 后 ， 才 可 以 通 
过 实践 不 断 拓宽 、 深 化 自己 的 知识 体系 。 如 果 你 现在 仍然 没有 一 个 适宜 的 学 习 环 境 ， 那 么 建议 你 尽快 搭建 一 套 LAMP 或 LINMP 环 境 。 基 础 环境 的 部 署 和 使 用 将 有 助 于 你 快速 熟悉 操作 系统 和 数据 库 。 


本 章 将 主要 讲述 和 MySQL 相 关 的 一 些 基础 知识 。 包 括 与 MySQL 相 关 的 数据 库 文件 及 参数 设置 ， 最 后 也 会 简要 介绍 下 MySQL 的 灾难 恢复 过 程 。 


10.1 文件 和 VO 管 理 


10.1.1 _ MySQL 日 志文 件 


如 表 10-1 所 示 ，MySQL 有 几 个 不 同 的 日 志文 件 ， 可 以 帮助 你 了 解 mysqld (MySQL Server 的 主 程序 ) 内 部 发 生 的 事情 。 


表 10-1 MySQL 的 日 志文 件 及 功能 


日 志文 件 记 入 文件 中 的 信息 类 型 

错误 日 志 记录 启动 、 运 行 或 停止 mysqld 时 出 现 的 问题 
通用 日 志 记录 建立 的 客户 端 连接 和 执行 的 请 句 

二 进 制 日 志 记录 更 改 数 据 的 所 有 请 句 ， 还 用 于 复制 

慢 查 询 日 志 记录 执行 时 间 超 过 long_query_time 秒 的 所 有 查询 


上 默认 情况 下 ， 所 有 日 志 均 创建 于 mysqld 数 据 目 录 中 。 通 过 刷新 日 志 ， 可 以 强制 mysqld 关 闭 和 重新 打开 日 志文 件 (或 者 在 某 些 情况 下 切换 到 一 个 新 的 日 志 中 ) 。 当 你 执行 一 个 flush logs 语 句 或 执行 
mysqladmin flush-logs 或 mysqladmin refresh 时 ， 会 使 得 日 志 刷新 。 下 面 将 分 别 叙述 各 种 日 志文 件 。 


上 


1. 错 误 日 志 


志文 件 的 位 置 。 如 果 没 有 给 定 


--log-error[=file name] 选 项 来 指定 mysqld 保 存 错误 


启动 或 停止 时 ， 以 及 服务 器 在 运行 过 程 中 发 生 任何 严重 错误 时 的 相关 信息 。 可 以 
志 名 host_name.err， 并 在 数据 目录 中 写 入 日 志文 件 。 


错误 日 志文 件 包 含 了 mysqld 
file name 值 ，mysqld 将 使 用 错误 


需要 留意 的 是 ， 对 于 MySQL 5.1， 当 我 们 使 用 flush logs 命 令 刷 新 日 志 时 ， 错 误 日 志 会 被 清空 ， 并 生成 一 个 备份 的 错误 日 志 ， 这 种 情况 下 ， 往 往 只 能 看 到 最 近 的 错误 日 志 ， 这 可 能 会 致使 我 们 不 能 及 时 发 
现 问题 。 

我 们 可 以 使 用 工具 实时 监控 错误 日 志 ， 比 如 swatch ， 或 者 自己 编写 脚本 检查 错误 日 志 。 也 可 以 发 送 MySQL 错 误 日 志 到 系统 日 志 服务 Syslog， 这 样 ， 我 们 就 可 以 利用 一 些 日 志 分 析 工具 集中 分 析 和 处 理 
错误 信息 。 
2. 通 用 日 志 


志文 


如 果 想 要 知道 mysqld 内 部 发 生 了 什么 ， 你 应 该 它 。 如 果 没 有 给 定 file_name 的 值 ， 那 么 默认 名 就 是 host_name.log。 所 有 连接 和 语句 都 将 被 记录 到 


--log[=file_ name] 或 -I[file_name] 选 项 启 寺 


件 中 。 如 果 怀 疑 在 客户 端 发 生 了 错误 并 且 想 要 确切 地 知道 该 客户 端 发 送 给 mysqld 的 语句 ， 那 么 该 日 志 可 能 会 非常 有 用 。 生 产 环境 中 ， 下 线 一 个 业务 的 时 人 息 ， 也 可 以 打开 这 个 日 志 ， 检 查 是 否 仍然 有 流量 过 来 
访问 。 

mysqld 按 照 它 接收 的 顺序 将 语句 记录 到 查询 日 志 。 这 个 顺序 可 能 与 执行 的 顺序 不 同 。 

如 下 命令 可 查询 通用 日 志 的 路 径 

mysql> show variables like “ggenes” ; 

4 一 一 一 一 和 十 

| Variable_name | Value 

十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 

| general log | OFF 

| general log file |/path/to/loggeneral .log 

二 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 

2 rows in set (0.00 sec) 

可 以 使 用 命令 SET GLOBAL general log ON 打开 通用 日 志 记录 。 由 于 通用 日 志 记 录 了 所 有 的 查询 ， 所 以 一 定 要 记得 关闭 它 ， 否 则 ， 在 一 个 生产 繁忙 的 系统 中 ， 通 用 日 志 在 几 小 时 之 内 可 能 就 会 塞 满 磁 
盘 。 
3. 二 进 制 日 志 

二 进 制 日 志 包 含 了 所 有 更 新 了 数据 或 已 经 潜在 更 新 了 数据 的 语句 。 语 句 以 “事件 ” (event) 的 形式 保存 ， 它 描述 了 数据 的 更 改 信息 。 二 进 制 日 志 还 包含 了 每 个 更 新 数据 库 的 语句 的 执行 时 间 信 息 ， 但 它 
不 包含 没有 修改 任何 数据 的 语句 。 如 果 想 要 记录 所 有 的 语句 〈 例 如， 为 了 识别 有 问题 的 查询 ) ， 那 么 我 们 应 该 使 用 通用 日 志 。 二 进 制 日 志 的 主要 目的 是 恢复 数据 ， 因 为 二 进 制 日 志 包含 备份 后 进行 的 所 有 更 
新 。 


于 在 主 复制 服务 器 上 记录 所 有 将 要 发 送 给 从 服务 器 的 语句 。 


二 进 制 日 志 还 


录 。 建 议 最 好 指定 一 个 文件 名 ， 语 句 如 下 。 


如 果 未 给 出 二 进 制 日 志 的 文件 名 ， 那 么 默认 名 为 主机 名 -bin。 如 果 给 出 了 文件 名 ， 但 没有 包含 路 径 ， 那 么 文件 将 被 写 入 数据 


log-bin =/path/to/logmysql-bin 


mysqld 将 在 每 个 二 进 制 日 志 名 的 后 面 添加 一 个 数字 扩展 名 。 每 次 要 启动 服务 器 或 刷新 日 志 时 ， 该 数字 将 会 增加 。 如 果 当 前 的 日 志 大 小 达到 了 max_binlog_size 参 数 设置 的 值 ， 那 么 mysqld 会 自动 创建 新 
的 二 进 制 日 志 。 
mysqld 还 将 创建 一 个 二 进 制 日 志 索 引文 件 ， 其 中 包含 了 所 有 使 用 二 进 制 日 志文 件 的 文件 名 。 默 认 情 况 下 该 索引 文件 与 二 进 制 日 志文 件 的 文件 名 相同 ， 扩 展 名 为 “index”。 当 mysqld 正 在 运行 时 ， 不 可 


手动 编辑 该 文件 ， 这 样 做 可 能 会 使 mysqld 发 生 异 常 。 


PURGE BINARY LOGS 命 令 只 删除 部 


RESET MASTER 语 句 删除 所 有 的 二 进 制 日 志文 件 , 或 者 


我 们 可 以 使 用 mysql 连 接 数 据 库 ， 运行 SHOW BINARY LOGS 命 令 查看 当前 有 哪些 二 进 制 文件 ， 还 可 以 
分 二 进 制 文件 。 如 下 的 例子 将 删除 历史 二 进 制 日 志 ， 一 直到 mysql-bin.000005 这 个 文件 为 止 。 


mysql> purge binary logs to ‘mysql-bin.000005” ; 


具有 SUPER 权 限 的 客户 端 可 以 通过 SET sql_log_bin=0 语 句 禁止 将 自己 的 语句 记 入 二 进 制 记录 中 。 这 在 某 些 情况 下 很 有 用 ， 比 如 进行 数据 库 的 主 主 切 换 时 ， 再 或 者 进行 数据 库 的 版 本 升级 时 。 
我 们 可 以 用 mysqlbinlog 工 具 检 查 二 进 制 日 志文 件 。 如 果 想 要 重新 处 理 日 志 上 的 语句 ， 那 么 这 个 工具 将 会 很 有 用 。 例 如 ， 可 以 用 二 进 制 日 志 更 新 MySQL 数 据 库 ， 方 法 如 下 。 


shell> mysqlbinlog log-file | mysql -~h host -P port 


志 中 最 后 的 语句 有 可 能 就 会 丢失 。 要 想 防止 这 种 情况 的 发 


此 如 果 操 作 系统 或 机 器 (不 仅仅 是 MySQL 服 务 器 ) 发 生 崩 演 ， 那 么 二 进 制 
曼 的 ) ， 使 二 进 制 日 志 在 每 N 次 二 进 制 日 志 写 入 后 就 与 硬盘 同步 一 次 。 


默认 情况 下 ， 并 不 是 每 次 写 入 时 都 会 将 二 进 制 日 志 与 硬盘 同步 。 
生 ， 可 以 设置 sync_binlog 全 局 变量 为 N (1 是 最 安全 的 值 ， 但 也 是 最 | 


下 面 来 简单 介绍 下 二 进 制 日 志 的 格式 。 


MySQL 有 两 种 记录 命令 的 形式 ， 一 科 
分 情况 下 是 适用 的 ， 它 在 一 般 情况 下 将 使 


(1) 语 


基于 语句 级 的 日 志 记录 生 


(2) 行 级 (row-based) 


如 果 是 行 级 格式 的 日 志 ， 那 么 它 所 记录 的 导 
息 ，mysqlbinlog 加 参数 -verbose (或 -v) ， 将 会 生成 带 注释 的 语句 ， 如 果 连 续 两 次 使 


句 级 (statement-based) 


件 信 息 包含 了 行 的 更 改 信息 而 不 是 原始 的 SQL 语句 ， 这 样 可 能 会 让 DBA 觉 得 不 方便 。 
这 个 参数 (如 -v-v) ， 则 会 生成 字段 的 类 型 、 长 度 、 是 否 为 NULL 等 属性 信息 。 


通 


是 语句 级 (binlog format=statement) ， 一 种 是 行 级 (binlog_ format=row) 。 建 议 将 记录 命令 的 形式 设置 为 混合 模式 (binlog format=mixed) ， 这 在 大 部 
语句 记录 日 志 ， 但 在 一 些 特 殊 情 况 下 ， 就 会 临时 更 改 为 行 级 记录 的 形式 ， 以 便 得 到 更 健壮 的 复制 特性 。 


有 包含 了 原始 执行 的 SQL 语 句 (这 会 让 DBA 的 维护 更 方便 ) ， 还 有 其 他 信息 ， 如 执行 语句 的 线程 ID， 语 名 执行 时 的 时 间 戳 ， 执 行 所 耗 时 长 等 。 


过 mysqlbinlog 默 认 看 到 的 都 是 一 些 经 过 base-64 编 码 的 信 


一 般 而 言 ， 行 
简单 性 ， 只 用 到 基本 的 核心 特性 即 可 。 
以 下 将 简 和 


“ #at 141: 事件 的 起 始点 。 


介绍 下 mysqlbinlog 解 析出 来 的 二 进 制 日 志 ， 主 要 有 如 下 几 项 。 


级 日 志 更 健壮 ， 而 语句 级 的 日 志 如 果 应 用 了 MySQL 的 一 些 额 外 特性 ， 比 如 存储 过 程 、 触 发 器 ， 则 可 能 会 导致 复制 异常 。 所 以 ， 如 果 使 用 的 是 语句 级 的 复制 ， 那 么 请 务必 保持 数据 库 应 用 的 


“#1003099:28:36 servet id 123 end_log pos 245: 语句 执行 的 时 间 ， 对 于 复制 ， 这 个 时 间 会 传输 到 从 库 。setrvetid 是 产生 这 个 事件 的 MySQL 实例 的 server id 参数 值 。end_log pos 指 下 一 个 事件 的 开始 点 ， 其 


实 也 就 是 这 个 事件 的 终点 +1。 


“Query thread_id=3350 exec_time=11 error_code=0: thread_id 指 执行 这 个 SQL 的 线程 id。exec_time 在 主 从 库 中 有 不 同 的 含义 ， 在 主 库 中 ， 等 于 执行 这 个 事件 所 花费 的 时 间 ; 在 从 库 中 ， 等 于 这 个 事件 结 
执行 的 时 间 点 减 去 在 主 库 上 开始 执行 的 时 间 点 ， 这 个 差异 可 以 表征 主 从 之 间 的 滞后 程度 。errof_code 为 错误 状态 ， 等 于 0 时 表示 状态 正常 。 


4. 慢 查询 日 志 


当 参 数 slow_query log=1 时 ，mysqld 将 记录 一 个 执行 时 间 超 过 long_query time 秒 的 所 有 SQL 语句 的 日 志文 件 。 


如 果 没 有 给 出 慢 查 询 文件 名 ， 则 默认 为 
执行 完 语 


提 查 询 日 志 可 以 


要 


5. 日 志文 件 维护 


MySQL 服 务 器 可 以 创建 各 种 不 同 的 
变 得 很 大 ， 慢 查询 日 志 在 慢 查询 很 多 的 情况 下 可 
设置 过 期 日 期 为 10 天 。expire logs day: 


名 并且 释放 完 所 有 锁 后 即 可 记 入 慢 查询 日 志 。 记 录 顺 序 与 执行 顺序 可 以 不 相同 。 


机 名 ， 后 缀 为 “-slow.Ilog”。 如 果 给 出 了 文件 名 ， 但 不 是 绝对 路 径 名 时 ， 文 件 将 会 写 入 数据 目录 。 


辑 文件 hostname-bin.index 来 反映 实际 的 文件 列表 。 
日 志文 件 大 小 ， 以 免 磁盘 空间 过 满 ， 这 在 一 定 程度 上 改善 了 日 志 的 保留 策略 。 


s 设 置 会 在 运行 flush logs 命 令 后 触发 删除 过 期 的 日 志 ， 注 意 ， 不 


志文 件 ， 从 而 可 以 很 容易 地 查看 所 进行 的 操作 。 但 是 ， 必 须要 定期 清理 这 些 文件 ， 以 确保 


来 找到 执行 时 间 很 长 的 查询 ， 可 以 用 于 优化 。 但 是 ， 检 查 又 长 又 慢 的 查询 日 志 会 很 困难 。 要 想 让 检查 变 得 容易 些 ， 可 以 使 用 mysqldumpslow 命 令 或 pt-query-digest 获 得 日 志 中 显示 
9 查询 摘要 来 处 理 慢 查询 日 志 。 慢 查询 日 志 的 详细 介绍 和 相关 命令 的 使 用 请 参考 4.3 节 。 


志文 件 不 会 占用 太 多 的 硬盘 空间 。 至 于 错误 日 志文 件 ， 一 般 情况 下 不 会 


能 会 变 得 很 大 ， 这 时 可 能 需要 手动 处 理 或 编写 脚本 进行 处 理 ; 对 于 二 进 制 日 志文 件 ， 


可 


以 设置 合适 的 过 期 策略 ， 如 expire-logs-days=10， 该 语句 的 意思 是 


操作 系统 下 的 rm 命令 | 


10.1.2 InnoDB 数 据 文件 和 日 志文 件 


1. 概 述 


先 来 简 自 


看 下 数据 库 数据 目录 下 的 一 些 文件 。 假 设 数据 目录 为 /usr/lib/mysql/data， 此 目录 下 可 能 有 如 下 这 些 文件 。 


(1) db.opt 


数据 库 的 结构 定义 和 设置 。 


Lt2) *fnm 


数据 表 的 结构 定义 。 


(3) *.MYD 


MylSAM 表 数据 。 


(4) *.MYI 


MyISAM 索 引 数 据 。 


(5) ibdata* 


InnoDB: 


如 果 将 innodb file_per table 设 置 为 1， 那 么 InnoDB 数 据 表 可 以 各 
默认 innodb file_per table 等 于 0， 即 InnoDB 将 使 


表 空 间 数据 文件 。 


(6) ib logfile* 


InnoDB 


日 志 数 据 。 


(7) *.idb 


InnoDB: 


Et 


共享 表 空间 的 方式 ， 所 有 的 数据 都 会 存储 在 类 似 ibdata* 这 样 的 文件 内 。 


居 和 索引 ( 当 将 innodb file_per _table 设 置 为 1， 即 为 独立 表 空间 的 方式 ) 。 


除 


志 ， 这 可 能 会 导致 你 执行 日 志清 理 的 命令 失败 ， 你 可 能 需要 手动 编 


昌 然 MySQL 5.1 可 以 设置 日 志 过 期 策略 ， 但 仍然 存在 一 个 可 能 ， 对 于 生产 繁忙 的 系统 ， 二 进 制 日 志 可 能 会 塞 满 磁盘 ，MySQL 5.6 可 以 设置 保留 的 二 进 制 


存储 为 一 个 文件 ， 称 为 独立 表 空 间 。 如 果 innodb file_per table 等 于 0， 那 么 InnoDB 数 据 表 则 可 以 统一 存放 在 一 个 共享 表 空 间 里 。 


(8) *.trg 


触发 器 。 


以 下 将 主要 讨论 InnoDB 表 空间 数据 文件 和 它 的 日 志文 件 。 


如 果 你 指定 了 无 InnoDB 配 置 选项 ， 那 么 MySQL 将 在 MySQL 数 据 目录 下 创建 一 个 名 为 ibdata1 的 10MB 大 小 的 自动 扩展 数据 文件 ， 以 及 两 个 名 为 ib_logfile0 和 ib_logfile1 的 5MB 大 小 的 日 志文 件 。 对 于 一 
般 的 生产 负荷 来 说 ， 这 种 配置 太 小 了 ， 可 能 会 导致 性 能 问题 ， 所 以 需要 手动 设置 大 小 。 笔 者 建议 日 志文 件 应 大 于 256MB， 数 据 文 件 初始 可 以 分 配 1GB 到 5GB， 并 设置 为 自动 扩展 ， 这 样 的 配置 在 一 般 情况 下 
已 经 够 用 了 ， 相 关 的 配置 项 设置 如 下 。 


innodb data file path = ibdatal:1000M:autoextend 
innodb log file size = 256M 


innodb data_file_path 的 值 应 该 为 一 个 或 多 个 数据 文件 规格 的 列表 。 如 果 要 命名 一 个 以 上 的 数据 文件 ， 请 用 分 号 “” 分 隔 它们 。 其 语法 格式 为 : 
innodb data file path=datafile spec1[datafile_spec2]http://www.hzcourse.comy/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPSVText/… 


例如 : 


innodb data file path=ibdatal:5000M;ibdata2:5000M:autoextend 


其 中 ，autoextend 属 性 和 后 面 跟 着 的 属性 只 能 被 用 于 innodb_data_file_path 行 里 的 最 后 一 个 数据 文件 。 


如 果 对 最 后 的 数据 文件 指定 autoextend 选 项 ， 那 么 当 数 据 文件 耗 尽 表 空间 中 的 自由 空间 时 ，InnoDB 就 会 扩展 这 个 数据 文件 ， 扩 展 的 幅度 默认 是 每 次 8MB。 


2. 独 立 表 空 间 的 原理 和 设置 


共享 表 空 间 的 使 用 很 简单 ， 维 护 方便 ， 同 时 它 也 是 MySQL 默 认 的 配置 ， 所 以 在 生产 中 得 到 了 广泛 的 应 用 ， 但 它 也 存在 一 些 劣势 ， 使 用 共享 表 空 间 比 较 明显 的 缺点 是 ， 不 能 快速 回收 删除 大 表 的 空 
间 ，MO 操 作 可 能 会 消耗 更 多 的 资源 等 待 。 而 独立 表 空 间 是 很 多 DBA 推 荐 使 用 的 方式 ， 它 刚好 在 这 两 点 上 弥补 了 共享 表 空 间 的 不 足 。 使 用 独立 表 空 间 ， 可 以 在 它 自己 的 文件 中 存储 每 个 InnoDB 表 和 它 的 索 
引 ， 这 种 情况 下 ， 每 个 表 都 有 它 自己 的 表 空 间 。 


可 以 向 my.cnf 的 [mysqld] 节 中 添加 下 面 的 语句 来 允许 使 用 独立 表 空 间 ， 重 启 MySQL 实 例 (MySQL Server) 即 可 生效 。 


[mysqld] 
innodb file per table 


重启 实例 之 后 ，InnoDB 将 会 把 每 个 新 创建 的 表 存 储 到 数据 库 目录 下 的 文件 tbl_name.ibd 中 。 这 类 似 于 MylSAM 存 储 引擎 所 做 的 ， 但 MylSAM 是 把 表 分 成 数据 文件 tbl_name.MYD 和 索引 文件 
tbl_name.MYI。 对 于 InnoDB， 数 据 和 索引 则 会 被 一 起 存放 到 .ibd 文 件 中 。 不 过 tbl_name.frm 文 件 照旧 会 被 创建 。 


如 果 从 my.cnf 文 件 里 删除 了 innodb file_per table 行 ， 并 重启 了 实例 ， 那 么 InnoDB 将 会 在 共享 的 表 空 间 文 件 里 再 次 创建 表 。 也 就 是 说 ，innodb file_per table 只 会 影响 表 的 创建 。 如 果 用 这 个 选项 启 
动 实例 ， 那 么 新 表 将 会 被 .ibd 文 件 创建 ， 但 是 你 仍然 能 够 访问 共享 表 空间 中 的 表 。 如 果 删 掉 了 这 个 选项 ， 那 么 新 表 将 在 共享 表 空 间 内 被 创建 ， 但 是 你 仍然 可 以 访问 用 独立 表 空 间 创建 的 任何 表 。 


即使 使 用 了 独立 表 空间 ， 也 仍然 有 一 部 分 共享 数据 需要 存放 在 共享 表 空间 内 ， 所 以 idata* 文 件 仍然 存在 。 


你 不 能 像 对 待 MyISAM 一 样 ， 在 数据 目录 之 间 随 意 地 移动 .ibd 文 件 。 这 是 因为 表 定 义 是 被 存放 在 InnoDB 共 享 表 空 间 内 的 ， 而 且 InnoDB 必 须 保持 事务 ID 和 事务 日 志 顺 序号 的 一 致 性 。 


如 果 某 个 数据 文件 变 得 很 大 ， 比 如 上 百 GB， 这 时 你 可 能 想 要 另外 增加 一 个 数据 文件 ; 或 者 磁盘 已 满 ， 这 时 你 想 要 把 其 他 数据 添加 到 另 一 个 硬盘 上 ， 那 么 这 时 可 以 手动 添加 一 个 数据 文件 。 


3.InnoDB 增 加 数据 文件 


手动 增加 一 个 数据 文件 时 需要 重启 MySQL 实 例 ， 我 们 可 以 计算 出 最 后 一 个 文件 的 大 小 〈 针 对 按 MB 计算 的 大 小 取 整 ， 即 字 节 数 除 以 10242， 再 四 舍 五 入 ) ， 然 后 修改 配置 文件 ， 把 
innodb data_file_path 参 数 指定 的 最 后 一 个 文件 大 小 设置 为 该 值 ， 并 在 其 后 继续 追加 新 的 数据 文件 。 


解决 方案 具体 如 下 。 


当 你 要 添加 一 个 新 文件 名 到 innodb data_file_path 参 数 指定 的 文件 名 列表 时 ， 请 确信 它 并 不 存在 。 当 你 重启 实例 时 ，InnoDB 会 创建 并 初始 化 这 个 文件 。 


如 果 最 后 一 个 数据 文件 是 用 关键 字 autoextend 定 义 的， 那么 在 编辑 my.cnf 文 件 时 必须 考虑 最 后 一 个 数据 文件 已 经 增长 到 多 大 了 。 你 需要 获取 这 个 数据 文件 的 大 小 ， 四 舍 五 入 ， 使 其 最 接近 1024*1024 
bytes 的 乘积 ( 即 1MB) ， 然 后 在 innodb_data_file_path 中 明确 指定 大 致 的 尺寸 。 然 后 添加 另 一 个 数据 文件 。 记 住 ， 只 有 innodb_data _file_path 里 的 最 后 一 个 数据 文件 才 可 以 被 指定 为 自动 扩展 。 


如 下 是 一 个 修改 数据 文件 大 小 的 示例 。 


首先 关闭 实例 ， 查 看 最 后 一 个 数据 文件 的 大 小 。 如 下 是 Linux 操 作 系统 1 命令 的 输出 。 


-rw-rw--- 1 mysql mysql 10829692928 Mar 10 10:27 ibdata4 


然后 计算 最 后 一 个 数据 文件 的 大 小 。 


10829692928/1024/1024=10328 MB (四 舍 五 入 ) 


那么 对 原配 置 文 件 : 


innodb data file path = ibdatal:4000M;ibdata2:4000M; ibdata3:4000M;ibdata4:4000M:autoextend 


做 如 下 修改 ,增加 一 个 数据 文件 ibdata5， 初 始 值 为 8000MB， 可 自动 扩展 。 


innodb data file path = ibdatal:4000M;ibdata2:4000M;ibdata3:4000M;ibdata4:10328M; ibdata5:8000M:autoextend 


最 后 ， 重 新 启动 实例 ，MySQL Server 会 自动 创建 ibdata5。 


4. 改 变 InnoDB 事 务 日 志 大 小 


不 要 试图 通过 直接 更 改 配置 文件 来 设置 InnoDB 事 务 日 志 的 大 小 ， 这 会 导致 不 能 启动 数据 库 。 如 果 想 要 改变 InnoDB 事 务 日 志文 件 的 数量 和 大 小 ， 那 么 必须 要 停止 MySQL 实 例 ， 并 确定 它 被 无 错误 地 关闭 
了 。 随 后 复制 旧 日 志文 件 到 一 个 安全 的 地 方 作为 备份 ， 万 一 出 错 还 可 以 恢复 ， 然 后 从 日 志文 件 目录 删除 所 有 的 旧 日 志文 件 ， 之 后 编辑 my.cnf 改 变 日 志文 件 配置 ， 并 再 次 启动 MySQL 实 例 。mysqld 在 启动 之 
时 会 发 现 没有 日 志文 件 ， 然 后 告诉 你 它 正在 创建 一 个 新 的 日 志文 件 。 


更 改 InnoDB 事 务 日 志 大 小 的 具体 步骤 如 下 。 


1) 干净 关闭 MySQL。 


2) 使 用 mv 命令 移 走 旧 的 InnoDB 事 务 日 志 。 


3) 修改 配置 文件 ， 更 改 innodb log file_size。 


4) 启动 MySQL。 


注意 ， 在 旧版 本 的 MySQL 中 ， 所 有 事务 日 志 大 小 的 总 和 不 能 超过 4GB。MySQL 5.6 将 总 大 小 的 限制 扩展 到 了 512GB。 


5.InnoDB 的 undo 区 域 


区 


undo 区 域 也 称 为 undo 空 间 、undo 表 空间 ， 是 InnoDB 设 计 的 一 个 特殊 存储 区 域 ， 它 保存 了 被 活动 事务 更 改 的 数据 的 副本 (前 像 ) ， 如 果 另 一 个 事务 需要 查看 原来 的 数据 (例如 ， 满 足 一 致 性 读 ) ， 那 
么 可 以 从 undo 区 域 中 获得 未 被 更 改 的 数据 。 默 认 情 况 下 ，undo 区 域 也 是 在 InnoDB 共 享 表 空 间 内 。MySQL 的 更 高 版 本 (MySQL 5.6 及 以 上 ) 也 提供 了 该 选项 ， 可 以 把 undo 空 间 放 到 独立 的 表 空间 里 ， 这 样 
就 可 以 把 undo 表 空间 放 到 其 他 更 快 的 磁盘 设备 上 ， 进 行 专门 的 优化 。 


如 果 undo 暴 涨 可 能 会 把 共享 表 空间 撑 大 。 出 现 这 种 情况 ， 可 能 是 因为 写 负载 很 大 ， 比 如 执行 了 大 量 的 删除 和 修改 操作 ， 但 在 生产 环境 中 ， 更 可 能 出 现 的 一 种 情况 是 存在 长 时 间 未 提交 的 事务 。 


如 果 一 个 事务 长 时 间 未 提交 ， 而 我 们 默认 使 用 的 是 repeatable read 事 务 隔离 级 别 ， 那 么 InnoDB 不 会 去 清理 旧 的 行 版 本 (old row versions) ， 因 为 未 提交 的 事务 仍然 需要 看 到 它 。 当 这 个 事务 一 直 保 
持 打开 而 不 提交 ， 就 可 能 会 导致 大 量 旧 的 版 本 数据 无 法 删除 ， 从 而 导致 undo 暴 涨 。 将 事务 的 隔离 级 别 更 改 为 read committed 可 以 解决 此 问题 。 但 根本 的 处 理 措施 还 是 检查 代码 ， 找 到 未 提交 的 事务 。 


通过 命令 SHOW INNODB STATUS 的 输出 ， 可 以 看 到 当前 有 多 少 没有 被 清理 的 记录 。 对 比 下 面 的 Purge done for trx 和 Trx id counter， 如 果 差异 很 大 ， 则 可 能 是 因为 大 量 事务 所 导致 ， 也 可 能 是 操作 
大 量 数据 的 个 别 事务 所 导致 的 。 


Trx id counter 0 80157601 
Purge done for trx’ s ni:o <0 80154573 undo n:o <0 0 


对 于 写 操 作 很 频繁 的 应 用 ，InnoDB 清 理 线程 的 速度 可 能 会 跟 不 上 ， 从 而 导致 undo 表 空间 越 来 越 大 ， 可 以 通过 设置 innodb_max_purge_lag 参 数 ， 来 避免 InnoDB 表 空间 的 过 分 增 大 。InnoDB 事 务 系统 
维持 了 一 个 事务 列表 ， 该 列表 记录 被 UPDATE 或 DELETE 操 作 标 志 为 删除 的 索引 记录 。 这 个 列表 的 长 度 为 purge_lag。 当 purge_lag 超 过 innodb_max_purge lag 之 时 ， 每 个 INSERT、UPDATE 和 DELETE 操 作 
都 将 被 延迟 一 定 的 时 间 ， 比 如 我 们 可 以 将 其 设置 为 100 万 。 即 允许 有 100 万 条 未 清理 的 记录 ， 在 达到 100 万 的 阔 值 后 ， 就 会 触发 延迟 其 他 的 查询 操作 。 


简 而 言 之 ，undo 里 保存 了 数据 的 前 像 ， 它 可 以 满足 一 致 性 查询 ， 同 时 ， 在 灾难 恢复 过 程 中 ， 它 也 扮演 了 重要 的 角色 ， 它 的 主要 功能 是 在 灾难 恢复 过 程 中 回 滚 那些 没有 提交 的 变更 。 灾 难 恢复 的 具体 过 程 
请 参考 10.2 节 。 


10.1.3 “临时 文件 


MySQL 使 用 环境 变量 TMPDIR 的 值 作 为 保存 临时 文件 的 目录 路 径 名 。 如 果 未 设置 TMPDIR， 那 么 MySQL 将 使 用 系统 的 默认 值 ， 通 常 为 /tmp、/var/tmp 或 /usrtmp。 如 果 包 含 临 时 文件 目录 的 文件 系统 
过 小 ， 则 可 以 对 mysqld 使 用 “--tmpdir” 选 项 ， 在 具有 足够 空间 的 文件 系统 内 指定 1 个 目录 ， 或 者 修改 配置 文件 内 的 参数 tmpdir。 


在 MySQL 5.1 中 ，“--tmpdir” 选 项 可 被 设置 为 多 个 路 径 的 列表 ， 以 循环 的 方式 使 用 。 在 Unix 平 台 上 ， 路 径 可 用 冒号 字符 “:” 隔 开 ， 在 Windows、NetWare 和 OS/2 平 台 上 ， 路 径 可 用 分 号 字 
符 “” 隔 开 。 注 意 ， 为 了 有 效 地 分 布 负载 ， 这 些 路 径 应 位 于 不 同 的 物理 磁盘 上 ， 而 不 是 位 于 相同 磁盘 的 不 同 分 区 中 。 


如 果 MySQL 服 务 器 正 作为 复制 从 服务 器 使 用 ， 那 么 不 应 将 “--tmpdir” 设 置 为 指向 基于 内 存 的 文件 系统 的 目录 ， 或 者 当 服务 器 主机 重启 时 将 要 清空 的 目录 。 对 于 复制 从 服务 器 ， 需 要 在 机 器 重启 时 仍 保 
些 临 时 文件 ， 以 便 能 够 复制 临时 表 或 执行 LOAD DATA INFILE 操 作 ， 如 果 在 服务 器 重启 时 丢失 了 临时 文件 目录 下 的 文件 ， 那 么 复制 将 会 失败 。 


要 
| 


MySQL 会 以 隐 含 的 方式 创建 所 有 的 临时 文件 。 这 样 ， 就 能 确保 在 中 止 mysqld 时 会 删除 所 有 的 临时 文件 。 使 用 隐 含 文件 的 缺点 在 于 ， 在 临时 文件 目录 所 在 的 位 置 中 ， 看 不 到 占用 了 文件 系统 的 大 临时 文 
件 。 


fy 
从 


现 错误 


进行 排序 时 (ORDER BY 或 GROUP BY) ，MySQL 通 常会 使 用 1 个 或 多 个 临时 文件 。 对 于 大 数据 量 的 排序 ， 临 时 空间 可 能 会 超过 /tmp 空 间 ， 此 时 ， 执 行 查询 将 会 失败 ，MySQL 错 误 日 志和 
记录 “sort abort”。 解 决 方案 是 优化 查询 或 把 临时 目录 设置 到 另 一 个 空间 足够 大 的 分 区 中 。 


对 于 某 些 SELECT 查 询 ，MySQL 还 会 创建 临时 SQL 表 ， 它 们 有 sql_* 形 式 的 名 称 。ALTER TABLE 会 在 与 原始 表 目 录 相同 的 目录 下 创建 临时 表 。 


10.1.4 ”MySQL 套 接 字 文 件 


服务 器 用 来 与 本 地 客户 端 进 行 通信 的 Linux 套 接 字 文件 (也 称 为 Socket 文 件 ) ， 其 默认 位 置 是 /tmp/mysql.sock。 此 文件 位 于 /tmp 目 录 下 可 能 会 导致 一 些 问 题 ， 原 因 在 于 ， 在 某 些 版 本 的 Linux 上 , 任何 
人 都 能 删除 /tmp 目 录 下 的 文件 。 在 Linux 系 统 下 ， 系 统 会 自动 删除 /tmp 目 录 下 的 一 些 文件 ， 但 并 不 会 删除 Socket 文 件 。 但 某 些 没有 经 验 的 系统 管理 员 可 能 配置 了 定时 任务 去 删除 /tmp 目 录 下 的 文件 ， 很 可 
能 连 socket 文 件 也 会 被 删除 ， 这 将 导致 MySQL 无 法 通过 socket 文 件 的 方式 进行 登录 。 由 于 现在 的 服务 器 一 般 都 很 强劲 ， 多 实例 的 配置 也 很 普遍 ， 建 议 不 要 将 socket 文 件 集 中 放 在 /tmp 目 录 下 ， 最 好 是 放 在 
单独 的 实例 自身 的 目录 中 。 我 们 可 以 在 全 局 配置 文件 中 指定 socket 文 件 路 径 。 例 如 ， 将 下 述 行 置 于 文件 /etc/my.cnf 中 。 


[mysqld] 
socket=/path/to/socket 
[client] 
socket=/path/to/socket 


如 果 你 不 放心 socket 文 件 ， 那 么 可 以 保留 默认 的 root 的 其 他 登录 方式 ， 默 认 的 root 账 号 可 以 通过 socket 文 件 或 127.0.0.1 进 行 登录 。 建 议 保留 127.0.0.1 的 root 登 录 账 号 ， 以 防 socket 文 件 被 异常 清除 。 


10.2 MySQL 如 何 进行 灾难 恢复 


MySQL 的 灾难 恢复 类 似 于 其 他 传统 数据 库 的 灾难 恢复 。 


MySQL 靠 预 写 式 日 志 (Write-Ahead Logging，WAL) 来 保证 持久 性 ， 也 就 是 说 ， 数 据 文件 不 会 马上 写 入 脏 数 据 ， 而 是 会 先 写 日 志 。InnoDB 的 脏 数据 是 存在 于 innodb_buffer_pool 里 的 ， 它 会 按 一 
定 的 机 制 批量 刷新 到 磁盘 ， 这 样 做 可 以 提高 吞吐 率 。 


我 们 把 上 面 这 种 日 志 称 为 redo 日 志 ， 即 InnoDB 的 事务 日 志 。 如 果 突 然 断 电 了 ， 那 么 InnoDB 是 不 能 保证 数据 已 经 写 入 磁盘 的 ， 数 据 库 重启 后 ，MySQL 需 要 知道 当时 执行 的 操作 是 成 功 了 还 是 部 分 成 功 
或 失败 了 这 时 ， 只 要 使 用 了 预 写 式 日 志 ， 程 序 就 可 以 检查 redo 日 志 ， 并 将 突然 断 电 时 计划 执行 的 操作 内 容 跟 实 际 上 执行 的 操作 内 容 进行 比较 。 在 这 个 比较 的 基础 上 ，MySQL 就 可 以 决定 是 撤销 已 做 的 操作 还 
是 继续 完成 相应 的 操作 ， 或 者 是 保持 原样 。 这 就 是 灾难 恢复 的 过 程 。 


由 于 MySQL 知 道 宕 机 时 有 哪些 日 志 是 还 没有 被 实际 写 入 到 数据 文件 的 ， 所 以 它 会 找到 事务 日 志 的 某 个 点 ， 把 这 个 点 之 后 的 日 志 运 行 一 遍 ， 这 个 时 候 就 会 产生 一 个 新 的 问题 ， 虽 然 把 所 有 日 志 都 执行 了 一 
遍 ， 但 有 一 些 更 改 并 没有 被 提交 ， 需 要 回 滚 。 我 们 配合 undo 日 志 (在 undo 区 域内 ) 可 以 确定 哪些 变更 是 需要 回 滚 的 ， 然 后 回 滚 那 些 没 有 提交 的 日 志 ， 简 单 地 说 ， 灾 难 恢复 过 程 可 以 分 为 redo ( 重 做 ) 和 
undo ( 回 退 ) 两 个 步骤 。 


由 上 可 知 ，InnoDB 事 务 日 志 在 很 大 程度 上 决定 了 数据 的 安全 性 ， 事 务 日 志 的 持久 性 决定 了 灾难 恢复 后 最 多 丢失 了 多 少 记录 ?事务 日 志 都 是 顺序 写 入 的 ， 因 此 可 以 设置 参数 来 调整 commit (事务 提交 ) 
时 写 入 事务 日 志 的 频率 。MySQL 的 事务 日 志 刷 新 可 能 会 出 现 如 下 3 种 情况 。 


(1) innodb flush log at trx=1 


每 次 commit 时 都 写 入 磁盘 。 这 样 理论 上 我 们 只 会 丢失 一 个 事务 。 


(2) innodb flush log at trx=2 


每 次 Commit 时 ， 写 日 志 只 缓冲 (buffer) 到 操作 系统 缓存 ， 但 不 刷新 到 磁盘 ，InnoDB 会 每 秒 刷 新 一 次 日 志 ， 所 以 宕 机 丢失 的 是 最 近 1 秒 的 事务 。 生 产 环境 中 建议 使 用 此 配置 。 


(3) innodb flush log at trx=0 


每 秒 把 日 志 缓 冲 区 的 内 容 写 到 日 志文 件 ， 并 且 刷 新 到 磁盘 ， 但 commit 时 什么 也 不 做 。 


数据 文件 的 写 操作 ， 可 能 会 将 块 写 坏 ，MySQL 设 计 了 一 个 数据 存储 区 域 双 写 缓冲 (double write buffer) ，InnoDB 使 用 双 写 缓冲 来 确保 数据 的 安全 ， 避 免 损坏 块 。 双 写 缓冲 是 InnoDB 表 空间 的 一 个 
特殊 的 区 域 ， 于 写 入 页 的 备份 ， 并 且 是 顺序 写 入 。 当 InnoDB 刷 新 数据 (从 InnoDB 缓 冲 池 到 磁盘 ) 时 ， 首 先 写 入 双 写 缓冲 ， 然 后 写 入 实际 数据 文件 。 这 样 即 可 确保 所 有 写 操作 的 原子 性 和 持久 性 。 


崩溃 重启 后 ，Innodb 会 检查 每 个 块 (page) 的 校 输 和 ， 判 断 块 是 否 损坏 ， 如 果 写 入 双 写 缓冲 的 是 坏 块 ， 那 么 显然 没有 写 入 实际 数据 文件 ， 就 要 用 实际 数据 文件 的 块 来 恢复 双 写 缓冲 ， 如 果 写 入 了 双 写 
缓冲 ， 但 是 数据 文件 写 的 是 坏 块 ， 那 么 就 用 双 写 缓冲 的 块 来 重 写 数据 文件 。 这 样 的 机 制 虽然 提供 了 安全 保障 ， 但 也 增加 了 IJO。 


对 于 读 操作 ，InnoDB 通 过 页 校 验 码 来 保证 数据 的 存 取 ， 每 页 在 内 存 中 都 先 算 好 一 个 校 验 值 ， 放 在 文件 头 部 ， 写 入 的 时 候 先 写 校 验 值 ， 读 的 时 候 也 会 校 验 一 下 校 验 值 。 


通过 如 上 描述 的 预 写 式 日 志 机 制 和 双 写 缓冲 区 域 ，MySQL 提 供 了 极 佳 的 灾难 恢复 性 。MySQL 的 稳定 版 本 很 少 会 因为 主机 断 电 等 硬件 故障 而 导致 数据 损坏 。 


10.3 ”变量 设置 、 配 置 文件 和 主要 参数 


10.3.1 概述 


很 多 人 都 喜欢 研究 各 种 参数 配置 文件 ， 然 后 给 自己 的 生产 环境 加 上 很 多 参数 。 笔 者 的 建议 是 ， 可 以 去 研究 它 ， 测 试 它 ， 但 是 在 生产 环境 中 ， 你 应 该 在 确定 某 个 选项 能 解决 特定 的 性 能 问题 时 ， 才 去 设置 
它 ， 否 则 你 应 该 尽量 保持 简单 。 配 置 文件 添加 了 过 多 的 参数 可 能 会 导致 混淆 ， 维 护 性 可 能 会 变 差 ， 后 来 接手 的 DBA 往 往 会 问 ， 为 什么 要 这 么 设置 。 实 际 的 数据 库 产品 中 ， 很 多 参数 只 有 在 特定 的 上 下 文中 才 
有 意义 ， 时 过 境 迁 ， 一 些 参数 可 能 反而 会 成 为 性 能 问题 的 根源 所 在 。 所 以 建议 让 生产 环境 的 配置 文件 尽 可 能 地 保持 简单 ， 在 确定 需要 时 ， 才 去 设置 相应 的 参数 。 


另外 ， 数 据 库 配置 文件 所 起 的 作用 有 限 。 系 统 的 性 能 更 多 地 取决 于 物理 部 署 和 架构 ， 取 决 于 数据 库 设 计 、 索 引 和 SQL 质量 等 。 设 置 好 正确 的 基本 参数 之 后 ， 最 好 就 不 用 再 去 关注 它 ， 应 该 花费 更 多 的 时 
间 在 库 表 设计 、 索 引 和 查询 优化 上 。 


官方 的 安装 包 内 有 附带 的 示例 配置 文件 ， 但 不 建议 使 用 。 里 面 的 一 些 设置 不 太 符 合生 产 实践 ， 可 能 会 有 误导 ， 而 且 这 些 配置 也 过 时 了 ， 不 适合 现在 的 硬件 和 负载 ， 也 不 适合 互联 网 公司 流量 比较 大 的 业 


务 。 


本 章 稍 后 会 给 出 一 份 比较 简单 的 配置 文件 ， 大 家 可 以 去 对 比 下 ， 然 后 检验 下 你 的 生产 环境 设置 得 是 否 合理 。 注 意 ， 适 合生 产 环境 的 才 是 最 佳 的 ， 而 任何 建议 的 参考 配置 文件 ， 往 往 是 不 可 能 覆盖 到 各 种 
应 用 类 型 的 ， 仅 仅 是 为 你 的 决策 提供 一 个 参照 物 。 所 以 ， 仍 然 建议 以 自己 的 生产 配置 为 准 。 


10.3.2 ”如 何 设置 参数 、 变 量 


配置 文件 内 的 参数 需要 尽量 保持 一 样 的 书写 风格 ， 要 么 都 是 用 下 划 线 (如 slow_query log file) 要 么 都 使 用 中 线 (slow-query-log-file) 。 


配置 文件 内 的 参数 有 些 是 影响 全 局 的 ， 有 些 是 会 话 (session) 级 别 的 ， 即 我 们 也 可 以 在 独立 的 连接 内 进行 设置 。 


sort_buffer_size 可 用 于 设置 全 局 和 会 话 级 ， 如 下 : 


SET sort buffer size = <value>; # 设 置 会 话 级 。 
SET GLOBAL sort buffer size = <value>;  # 设 置 全 局 。 
set sort buffer size =default; # 恢 复 默认 值 。 


生产 中 尽量 不 要 使 用 32 位 系统 ，32 位 系统 的 机 器 有 内 存 寻 址 的 限制 ， 不 能 突破 二 点 几 GB 的 限制 。 如 果 一 定 要 使 用 ， 那 么 配置 参数 的 时 候 ， 注 意 不 要 设置 得 过 高 ， 内 存 参 数 如 果 设置 得 太 高 ， 可 能 会 导致 
32 位 的 MySQL 实 例 骨 溃 。 


我 们 可 以 在 SET 命令 中 使 用 表达 式 ， 即 ，SET sort_buffer size=10*1024*1024， 但 配置 文件 不 允许 使 用 表达 式 。 


有 时 我 们 需要 | 临时 设置 会 话 变量 ， 执 行 操作 ， 然 后 恢复 原来 的 设置 ， 通 行 的 办 法 如 下 所 示 。 


SET @saved <unique variable name> := @@session.sort buffer size; 


SET @@session.sort buffer size := <value>; 
—— Execute the queryhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/.. 


SET @@session.sort buffer size := @saved <unique variable name>; 
有 时 我 们 需要 临时 调整 一 些 参 数 或 变量 ， 来 验证 自己 的 一 些 想法 ， 但 在 此 过 程 中 需要 注意 以 下 两 点 。 


1) 调整 参数 需要 有 一 个 基准 ， 调 整 参数 后 ， 我 们 需要 衡量 调整 的 结果 。 最 好 是 有 一 套 监 控 系统 来 收集 实例 的 运行 状态 ， 这 样 可 以 方便 我 们 进行 对 比 。 
2) 应 尽量 小 步调 整 参数 ， 一 次 不 要 调整 太 多 参数 ， 调 整 太 多 参数 会 比较 危险 ， 也 会 使 我 们 无 法 明确 到 底 是 哪些 参数 调整 后 有 效果 。 


随 着 对 生产 环境 的 日 渐 熟 悉 ， 我 们 总 能 找到 一 套 适 合 自己 生产 环境 的 配置 。 


10.3.3 ”配置 文件 的 读 取 顺序 


在 Unix 中 ，MySQL 程 序 从 表 10-2 所 示 的 文件 中 读 取 启动 选项 。 


表 10-2” 读 取 启 动 项 的 文件 


文件 名 目的 


/etc/my.cnf 全 局 选项 


( 续 ) 
文件 名 目的 
$MYSQL HOME/my.cnf 服务 需 相 关 选 项 
defaults-extra-file 用 --defaults-extra-file=path 指定 的 文件 ， 如 果 存 在 该 文件 的 话 
一 /my.cnf 用 户 相关 选项 


其 中 ，MYSQL_ HOME 是 一 个 环境 变量 ,包含 与 服务 器 相关 的 my.cnf 文 件 驻 留 的 目录 路 径 。 


如 果 未 设置 MYSQL HOME， 并 且 DATADIR 中 有 一 个 my.cnf 文 件 ， 而 BASEDIR 中 没有 my.cnf 文 件 ， 那 么 mysqld_safe 将 会 把 MYSQL HOME 设 置 为 DATADIR。 如 果 未 设置 MYSQL HOME 并 且 在 
DATADIR 中 没有 my.cnf， 则 mysqld_safe 将 MYSQL_ HOME 设置 为 BASEDIR。 也 就 是 说 ， 数 据 目 录 内 的 配置 文件 和 安装 目录 下 的 配置 文件 都 可 能 生效 。 


典型 情况 下 二 进 制 的 安装 目录 为 /usr/local/mysql/data， 源 代码 的 安装 目录 为 /usr/local/var。 请 注意 这 是 配置 时 指定 的 数据 目录 的 位 置 ， 而 不 是 mysqld 启 动 时 用 --datadir 指 定 的 。 运 行 时 使 用 -- 
datadir 对 寻找 选项 文件 的 服务 器 没有 效果 ， 因 为 服务 器 在 处 理 命令 行 参 量 之 前 就 寻找 这 些 选项 了 。 


MySQL 按 照 上 述 顺序 寻找 选项 文件 ， 如 果 存 在 多 个 选项 文件 ， 那 么 文件 中 指定 的 后 读 取 的 选项 要 优先 于 文件 中 指定 的 先 读 取 的 选项 。 所 以 理论 上 在 datadir 或 basedir 内 放置 一 个 my.cnf 即 可 。 


在 Unix 平 台 上 ，MySQL 忽 略 了 人 人 可 写 的 配置 文件 。 这 是 特意 设置 的 ， 它 其 实 是 一 个 安全 措施 。 


MySQL 默 认 加 载 配置 文件 的 先后 顺序 也 可 以 通过 应 用 如 下 命令 来 得 知 。 


$ which mysqld 
/usr/1local/mysql/bin/mysqld 
/usr/local/mysql/bin/mysqld --verbose --help | grep -A 1 ‘Default options’ 
Default options are read from the following files in the given order: 
/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf 


通过 以 上 命令 可 以 知道 加 载 配置 文件 的 顺序 。 
注意 “不 要 在 生产 环境 中 运行 ， 因 为 会 真 的 启动 mysqld 程 序 。 


虽然 官方 文档 中 说 明了 配置 文件 的 读 取 顺序 ， 可 是 该 顺序 不 一 定 可 靠 。 建 议 读者 不 要 依赖 于 官方 文档 所 说 明 的 顺序 来 部 署 自己 的 多 个 MySQL 配 置 文 件 。 对 于 生产 环境 的 部 署 ， 建 议 仅 存 在 并 加 载 一 个 配 


文件 ， 而 不 要 配置 多 个 配置 文件 。 有 些 人 除了 配置 文件 ， 还 喜欢 在 命令 行内 也 设置 一 些 参数 ， 这 样 容易 导致 混淆 ， 维 护 性 也 会 变 差 ， 最 终 将 丢失 你 所 做 的 变更 


10.3.4 ”环境 变量 、 配 置 文件 、 命 令 行 选项 的 优先 级 


MySQIL 程 序 首先 会 检查 环境 变量 ， 然 后 检查 选项 文件 ， 最 后 再 来 检查 命令 行 以 确定 给 出 了 哪些 选项 。 如 果 多 次 指定 一 个 选项 ， 那 么 最 后 出 现 的 选项 占 先 。 这 说 明 环 境 变量 具有 最 低 的 优先 级 ， 命 令 行 选 
项 具有 最 高 的 优先 级 。 


可 以 在 选项 文件 中 指定 程序 选项 的 默认 值 来 让 MySQL 程 序 处 理 各 个 选项 。 不 需要 在 每 次 运行 程序 时 都 输入 选项 ， 但 可 以 根据 需要 通过 命令 行 选项 来 覆盖 默认 值 。 


10.3.5 配置 文件 详 述 


配置 文件 分 成 了 很 多 节 ，MySQL 程 序 通常 会 读 取 命名 和 自己 名 字 一 样 的 节 。 比 如 如 下 的 配置 文件 。 


[client] 

port = 3306 

socket = Co O/T So TERS sock 
default-character-set = ut 


客户 端 工具 ， 如 mysql、mysqldump 会 读 取 client 这 一 节 的 配置 。 


default-character-set 指 程序 和 MySQL 服 务 器 进行 通信 时 所 使 用 的 字符 集 。 这 个 字符 集 应 该 和 输入 窗口 (Windows) 或 控制 台 窗 口 (Unix/Linux) 里 默认 使 用 的 字符 集 一 致 。 


再 来 看 一 个 配置 文件 : 


[mysqld] 
Character-set-server = utf8 


Port = 3306 

Socket = /path/to/tmpb//3306/mysql .sock 
user = mysql 

skip-external-locking 

datadir =/path/to/data/3306 

log-error =/path/to/10g3306/mysqld.err 
Pid-file = /path/to/tmp//3306/mysql .pid 
#init connect=’” set autocommit=0” 

#init connect=" set names utf8” 
#read-only 


mysqld 服 务 会 读 取 这 一 节 的 配置 。 
init_connect 这 个 参数 可 以 在 客户 端 连 接 进 来 的 时 候 执行 一 些 初始 化 操作 ， 如 记录 连接 |P， 但 不 会 对 Super 用 户 起 作用 。 


对 于 my.cnf 配 置 文件 ， 可 以 添加 一 些 基本 设置 ， 如 下 是 一 个 例子 。 


expire logs days=10; 
max_connect errors=5000; 
max_ connections=2048; 
slow query_10g=on; 

long query time=0.5; 
skip name resolve 


下 面 对 其 中 的 参数 做 一 些 简单 的 介绍 。 


(1) max_connect errors 


符 此 值 设置 得 足够 大 会 更 好 ， 推 荐 值 是 5000。 如 果 一 台 尝试 连接 数据 库 的 主机 失败 的 次 数 超过 了 此 立 值 ， 那 么 这 个 主机 会 被 MySQL Server 阻 止 访问 ,必须 在 MySQL Server 上 运行 FLUSH HOSTS 才 能 
解除 此 限制 。 


Ee 


(2) skip name resolve 


必须 设置 此 项 


因 MySQL 的 DNS 解析 可 能 会 导致 严重 的 性 能 问题 。 注 意 设置 了 此 项 之 后 ，MySQL 权 限 表 将 使 用 |P 来 统一 标识 主机 ， 而 不 能 使 用 主机 名 来 标识 了 。 


(3) sync_binlog 


默认 情况 下 ， 并 不 是 每 次 写 入 时 都 会 将 二 进 制 日 志 与 硬盘 同步 。 因 此 如 果 操 作 系统 或 机 器 (不 仅仅 是 MySQL 实 例 ) 发 生 崩 演 ， 那 么 有 可 能 二 进 制 日 志 中 最 后 的 语句 会 丢失 。 要 想 防止 出 现 这 种 情况 ， 可 
以 使 用 sync_binlog 全 局 变量 (1 是 最 安全 的 值 ， 但 也 是 最 慢 的 ) ， 使 二 进 制 日 志 在 每 N 次 写 入 后 与 硬盘 同步 一 次 。 


待 sync_binlog 个 记录 写 入 二 进 制 日 志 后 ，MySQL 服 务 器 会 将 该 二 进 制 日 志 同 步 到 硬盘 上 。 请 注意 如 果 是 autocommit 模 式 ， 那 么 每 执行 一 个 语句 便 会 向 二 进 制 日 志 写 入 一 次 ， 否 则 每 个 事务 执行 完 
写 入 一 次 。sync_binlog 的 默认 值 是 0， 表 示 不 与 硬盘 同步 。 值 为 1 是 最 安全 的 选择 ， 因 为 骨 涡 时 最 多 丢掉 二 进 制 日 志 中 的 一 个 语句 /事务 ;但 是 ， 这 也 是 最 慢 的 选择 (除非 硬盘 有 电池 备份 缓存 ， 使 同步 工作 
较 快 ) 。 建 议 配置 范围 为 8~20。 


10.3.6 配置 文件 示例 


最 终 的 一 份 简单 的 配置 文件 示例 如 下 (MySQL 5.1) 。 


[mysqld] 

# GENERAL 

datadir = /var/lib/mysql 

socket = /var/lib/mysql/mysql.sock 
pid fi = /var/lib/mysql/mysql .pid 
user = mysql 

port = 3306 

storage engine = InnoDB 

sync binlog = 20 

# INNODB 

innodb buffer pool size = <value> 
innodb log file size = <value> 
innodb file per table =1 

innodb flush method = O DIRECT 

# MyISAM a es, 
myisam-recover=default 默认 自动 修复 
key buffer size = <value> 

# LOGGING 


/var/lib/mysql/mysql-error.1og 
/var/lib/mysql/mysql-slow.1log 
<value> 


log error 
log_slow queries 
long query time 

# OTHER 

skip name resolve 


expire lo0gs days = <value> 
max_connect errors = <value> 
tmp table size = 32M 
max heap table size = 32M 
query_cache type =0 
query cache size =0 
max_Connections = <value> 
thread cache size = <value> 
table cache size = <value> 
open fFiles Timit = 65535 
[client] 一 

socket = /var/lib/mysql/mysql.sock 
port = 3306 


10.4 ”MySQL Query Cache 和 优化 器 


MySQL Query Cache 内 缓存 了 我 们 提交 的 SQL 语句 的 结果 集 及 相关 信息 ， 有 助 于 加 速 查询 响应 。 一 般 不 需要 考虑 Query Cache 带 来 的 额外 开销 ， 除 非 是 写 操作 很 频繁 的 应 


工作 原理 


当 MySQL 运 行 查询 语句 时 ， 首 先 会 检查 是 否 命中 缓存 ， 如 果 命中 那么 此 时 会 增加 Qcache_hits 状 态 变量 的 值 ， 并 返回 结果 集 给 客户 端 。 


如 果 在 缓存 中 找 不 到 此 语句 的 缓存 ， 则 进入 如 下 步骤 。 


1) MySQL 解 析 器 将 分 解 查询 语句 ， 并 建立 一 棵 “解析 树 ”， 解 析 器 会 使 用 MySQL 的 语法 解析 并 验证 查询 语句 的 语法 是 否 正 确 ， 是 否 符合 规范 ， 当 然 各 种 符号 也 包含 在 检查 范围 之 内 。 


2) 预 处 理 器 检查 “解析 树 ” 中 的 表 和 列 是 否 存 在 ， 列 的 别名 是 否 混淆 ， 并 进行 相关 权限 的 检查 。 


3) 如 果 前 面 两 步 都 通过 了 检验 ， 那 么 再 进行 如 下 步 又。 


步骤 1: 优化 器 对 “解析 树 ”进行 优化 ， 生 成 执行 成 本 最 低 的 执行 计划 。 
步骤 2: 执行 此 计划 ， 存 储 查询 结果 。 


步骤 3: 返回 结果 集 给 客户 端 。 


Query Cache 默 认 是 关闭 的 ， 临 时 禁用 Query Cache 的 办 法 是 设置 query_cache_size 为 0， 注 意 FLUSH QUERY CACHE 命 令 并 不 会 清空 缓存 。 清 除 缓存 的 命令 是 RESET QUERY CACHE。 


查看 相关 参数 的 语句 为 mysql>show variables like'%query_cache%'; 


查看 相关 状态 变量 的 语句 为 mysql>show global status like'%Qcache%'; 


至 于 是 否 可 以 禁用 Query Cache， 对 此 我 们 要 谨慎 些 ， 如 果 命 中 率 不 高 ， 比 如 才 70%~80%， 那 么 关闭 Query Cache 一 般 不 会 有 太 大 的 问题 ， 但 如 果 Query Cache 有 98%~99%， 那 么 关闭 Query 
Cache 可 能 会 导致 比较 大 的 冲击 ， 要 仔细 评估 因为 缓存 失效 而 可 能 对 数据 库 造 成 的 冲击 。 


任何 不 是 从 缓存 块 中 取得 数据 的 查询 语句 都 称 为 “缓存 错失 (cache miss) ” ， 造 成 缓存 错失 的 原因 有 以 下 几 种 。 


1) 所 发 送 的 查询 语句 是 不 可 缓存 的 ， 查 询 语句 不 可 缓存 的 原因 主要 有 两 种 : 一 是 语句 包含 了 不 确定 的 值 ; 二 是 所 得 到 的 结果 集 太 大 而 无 法 将 它 保存 到 缓存 中 。 这 两 种 原因 造成 的 结果 都 会 增加 
Qcache_not_cached 变 量 的 值 ， 可 以 通过 查看 这 个 变量 的 值 来 检查 查询 语句 的 缓存 情况 。 


2) 所 发 送 的 查询 语句 之 前 没有 发 送 过 ， 所 以 也 不 会 有 什么 缓存 存在 。 


3) 所 发 送 的 查询 语句 的 结果 集 是 之 前 存在 于 缓存 中 的 ， 但 由 于 内 存 不 足 ，MySQL 不 得 不 将 之 前 的 一 些 缓存 清除 掉 ， 以 腾 出 空间 来 放置 其 他 新 的 缓存 结果 。 


4) 数据 的 变更 也 会 引发 缓存 的 失效 。 如 果 是 数据 的 变更 引起 的 缓存 失效 ， 那 么 可 以 通过 查看 Com_* 变 量 的 值 来 确认 有 多 少 查 询 语句 更 改 了 数据 ， 这 些 变量 包括 Com_update、Com_delete 等 。 
Query Cache 有 如 下 一 些 要 点 需要 注意 。 

“SQL 语句 在 Query Cache 中 是 通过 散 列 映射 表 来 查找 的 ， 大 小 写 、 空 格 等 差异 都 会 导致 不 同 的 散 列 结果 ， 所 以 开发 人 员 应 该 有 一 致 的 代码 规范 ， 以 保证 SQL 语 句 风格 一 致 。 

:Query Cache 不 会 缓存 子 查询 。 


“ 如 果 Query Cache 结 果 集 中 相关 的 对 象 发生 了 变化 ， 那 么 这 个 结果 集 就 会 被 失效 。 比 如 某 张 表 修 改 了 数据 ， 那 么 Query Cache 内 所 有 涉及 这 张 表 的 结果 集 都 会 失效 。 需 要 注意 的 是 ， 长 时 间 运 行 的 事务 ， 
会 降低 Query Cache 的 效率 。 因 为 如 果 InnoDB 事 务 内 的 一 条 语句 更 改 了 表 ， 那 么 MySQL 就 会 让 Query Cache 与 这 个 表 相 关 的 Cache 都 失效 掉 。 直 到 这 个 事务 提交 之 后 ， 才 可 以 重新 缓存 这 个 表 的 结果 集 。 


“ Query Cache 分 配 内 存 的 时 候 ， 每 次 至 少 要 分 配 query_cache_min_res_unit 大 小 的 内 存 块 ，Query Cache 并 不 需要 等 待 所 有 的 结果 集 在 Cache 内 全 部 生成 后 才 发 送 给 客户 端 。 因 为 失效 等 原因 ， 实 际 上 生产 环 
境 结 果 集 所 需要 的 Query Cache 并 不 是 很 大 ， 一 般 256MB 就 足够 了 。 


“ 对 于 写 操作 很 频繁 的 应 用 ， 可 以 考虑 禁用 Query Cache。 


“ 留意 碎片 (fragmentation) 的 原因 是 ， 如 果 每 次 都 分 配 较 大 的 内 存 (query_cache_min_res_unit 较 大 ) ， 那 么 更 容易 导致 碎片 化 ; 如 果 每 次 分 配 较 小 的 内 存 (query_cache_min_res_unit 较 小 ) ， 则 需要 更 频 
繁 的 分 配 ， 所 以 需要 在 内 存 的 浪费 和 CPU 的 成 本 之 间 做 一 个 取舍 。 我 们 可 以 计算 下 平均 查询 大 小 (Query Size) 。 公 式 为 : Query Size=(query_cache_size - Qcache_free_memotry)/Qcache_queries_in_cache， 通 过 
平均 查询 的 大 小 来 大 致 确定 一 个 合适 的 query_cache_min_res_unit 应 该 设置 为 多 大 。 


“ 如果 Qcache_ lowmem_pbrunes 比 较 大 ， 而 Qcache_free_blocks 也 比较 大 ， 那 么 可 能 是 碎片 比较 严重 ， 导 致 了 查询 缓冲 被 大 量 别 除 。 


' 我 们 不 太 好 衡量 开启 了 Query Cache 是 否 真 的 有 帮助 。 最 简单 的 办 法 是 衡量 缓冲 命中 率 ， 公 式 为 Qcache_hits/(Qcache_hits+Com_selecb ， 如 果 缓 冲 命 中 率 比 较 高 ， 那 么 它 就 是 有 效 的 。 但 即使 不 高 (如 
20%~30%) ， 也 不 一 定 意味 着 低 效 ， 我 们 关注 的 是 提高 特定 查询 的 访问 速度 而 不 是 只 关注 命中 率 这 个 指标 相对 查询 来 说 ， 将 结果 集 存储 到 Query Cache 比 结果 集 失 效 的 成 本 更 低 。 如 果 一 个 系统 中 ， 大 部 分 都 
是 复杂 的 查询 ， 那 么 用 Query Cache 将 是 一 个 很 好 的 选择 。 


“如果 Qcache_not_cached 比 较 小 ， 但 有 大 量 缓存 未 命中 ， 那 么 可 能 会 有 很 多 失效 的 操作 ， 或 者 MySQL 没有 预 热 数据 ， 或 者 重复 的 查询 很 少 。Qcache_insertts 在 预 热 数据 后 ， 应 该 比 Com_select 小 得 多 。 


“ 可 监控 一 下 Qcache_lowmem_prunes， 确 定 是 否 因为 内 存 不 够 而 别 除 了 结果 集 。Query Cache 的 效率 比较 高 的 时 候 ，Qcache_inserts 应 该 比 Com_select 小 得 多 。 


如 果 查 询 结果 没有 被 缓存 ， 那 么 ，MySQL 将 解析 查询 (Parse) ， 通 过 优化 器 (Optimizer) 生成 执行 计划 ， 然 后 运行 执行 计划 获取 数据 。MySQL 优 化 器 生成 的 执行 计划 ， 在 很 大 程度 上 决定 了 其 性 
能 ， 随 着 新 版 本 的 发 布 ，MySQL 优 化 器 越 来 越 智能 ， 但 它 仍然 存在 很 多 限制 ，DBA 和 研发 人 员 需 要 熟悉 所 使 用 的 MySQL 版 本 的 优化 器 规则 ， 充 分 利用 优化 器 ， 撰 写 高 质量 的 SQL。 


让 优化 器 工作 得 更 好 ， 本 质 上 就 是 进行 查询 优化 ， 具 体 可 参考 第 6 章 “查询 优化 ”。 


10.5 SHOW INNODB STATUS 解析 


SHOW ENGINE INNODB STATUS 是 一 种 常用 的 工具 ， 但 运行 这 个 命令 的 输出 却 不 容易 阅读 。 


我 们 可 以 通过 创建 一 些 InnoDB 监 控 表 (注意 必须 是 InnoDB 引 警 的 表 ) ， 来 启用 性 能 监控 输出 ， 输 出 InnoDB 的 各 种 信息 ， 默 认输 出 至 MySQL 错 误 


如 下 命令 将 创建 InnoDB 标 准 监视 器 ， 即 SHOW INNODB STATUS 输出 。 


CREATE TABLE innodb monitor (a INT) ENGINE=INnoDB; 


如 下 命令 将 创建 表 空间 监视 器 ， 以 输出 共享 表 空间 的 信息 。 对 独立 表 空间 来 说 ， 它 不 适用 ， 如 果 关 闭 了 数据 文件 的 自动 扩展 ， 那 么 通过 这 个 监控 ,可 以 监视 数据 文件 是 否 需要 扩展 。 


CREATE TABLE innodb tablespace monitor (a INT) ENGINE = InnoDB; 


如 下 命令 将 开启 表 监 控 器 ， 会 输出 系统 中 所 有 InnoDB 表 的 一 些 结构 和 内 部 信息 。 


CREATE TABLE innodb table monitor (a INT) ENGINE = InnoDB; 


如 下 命令 将 开启 InnoDB 锁 监控 器 ， 它 的 输出 结果 和 标准 监视 器 基本 类 似 ， 但 会 有 更 多 关于 锁 的 信息 。 


CREATE TABLE innodb lock monitor (a INT) ENGINE = InnoDB; 


创建 表 只 是 发 出 一 个 命令 给 InnoDB 引 擎 ， 同 理 ， 删 除 表 也 是 发 送 一 个 停止 监控 的 命令 给 InnoDB3 引 擎 。 所 以 MySQL 在 重启 后 是 不 会 自动 启动 InnoDB 监 控 的 。 


以 下 将 对 InnoDB 进 行 标准 监控 ， 也 就 是 运行 SHOW ENGINE INNODB STATUS， 对 其 输出 做 一 些 解析 ， 其 他 监控 器 (如 对 于 表 空 间 的 监控 ) 可 参考 官方 文档 。 


SHOW INNODB STATUS 命令 的 输出 信息 不 太 方便 进行 脚本 解析 ， 而 且 输 出 信息 里 有 很 多 平均 值 ， 不 太 好 估算 我 们 自己 指定 范围 的 统计 结果 ，SHOW GLOBAL STATUS 命令 也 有 很 多 InnoDB 的 输出 信 


息 ， 使 用 SHOW GLOBAL STATUS 会 更 好 估算 一 些 ， 也 会 更 易于 监控 系统 性 能 。 


创建 这 些 表 之 后 ，MySQL 就 会 输出 各 种 内 部 结构 和 性 能 信息 到 MySQL 错 误 日 志 ， 对 于 InnoDB 标 准 监视 器 ， 大 概 是 每 隔 15s 输 出 一 次 。 笔 者 个 人 很 少 启用 各 种 性 能 监控 ， 一 般 是 在 做 诊断 的 时 候 ， 直 接 


运行 命令 ,例如 : 


SHOW ENGINE INNODB STATUS \G 


具体 的 输出 解析 如 下 。 


兴 闪 商 奖 突 次 闪 交 关 六 次 训 次 次 次 交大 六 六 六 闫 商 交 大 闪 大 ] 。 芽 D 〇 WW 六 大庆 六 闪 突 次 交大 交大 六 六 闫 商 交 大奖 大 交大 大 六 交 商 闪 


Per second averages calculated from the last 26 seconds 


以 上 输出 结果 为 最 近 26s 的 统计 。 如 果 是 前 1~ 2s 的 统计 那么 结果 将 不 太 可 信 。 我 们 需要 确保 至 少 有 20~30s 的 统计 ， 否 则 结果 会 不 太 准确 ， 还 需 


SHOW ENGINE INNODB STATUS 的 输出 主要 包含 如 下 几 个 部 分 ， 这 里 以 MySQL 5.1/5.5 为 例 来 进行 讲述 ， 其 他 版 本 与 此 类 似 。 
.Background Thread 

: Semaphores 

:Latest Foreign Key Error 

* Latest Detect Deadlock 

* File 1/O 

+ Insert Buffer and Adaptive Hash Index 
‘Log 

Buffer Pool and Memory 

: Row Operations 

* Transactions 

(1) 信号 量 (Semaphores) 


下 面 是 信号 量 相关 信息 。 


OS WAIT ARRAY INFO: reservation count 13569, signal count 11421 

—-Thread 1152170336 has waited at ./http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/../include/bufObuf.ic line 630 for C 
Mutex at 0x2a957858b8 created file bufObuf.c line 517, lock var 0 a 

waiters flag 0 

wait is ending 

—-Thread 1147709792 has waited at ./http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/../include/bufObuf.ic line 630 for C 
Mutex at 0x2a957858b8 created file bufObuf.c line 517, lock var 0 

waiters flag 0 

wait is ending 

Mutex spin waits 5672442, rounds 3899888, OS waits 4719 

RW-shared spins 5920, OS waits 2918; RW-excl spins 3463, OS waits 3163 


解析 : 信号 量 (SEMAPHORES) 节 包 含 两 部 分 信息 ， 一 部 分 信息 是 当前 的 操作 系统 等 待 (OS WAIT ARRAY INFO) ， 在 高 并 发 的 环境 下 ， 我 们 可 能 会 看 到 这 部 分 信息 ， 因 为 InnoDB 自 旋 等 待 超过 了 


阅 值 ， 就 会 触发 操作 系统 等 待 ， 如 果 等 待 通过 自 旋 能 够 解决 ， 那 么 这 些 信息 就 不 会 显示 了 。 


通过 检查 这 部 分 信息 ， 可 以 大 致 判断 负荷 的 热点 在 哪里 ， 由 于 输出 行 只 包含 了 一 些 文件 名 ， 因 此 还 需要 有 一 些 源码 的 知识 ， 才 能 判断 出 现 等 待 的 真实 原因 。 


另 一 部 分 信息 是 事件 统计 (event counter) ，reservation count 和 signal count 的 值 表征 了 InnoDB 需 要 OS WAIT 的 频率 。 我 们 也 可 以 使 用 操作 系统 命令 ， 如 vmstat， 通 过 检查 上 下 文 切换 (context 


switch) 的 频率 来 确认 OS WAIT 的 严重 程度 。 


我 们 还 需要 了 解 一 些 操作 系统 进程 调度 的 知识 ， 如 果 进 程 不 能 获取 锁 (mutex 可 以 理解 为 一 种 轻 量 级 的 锁 ) ， 则 CPU 会 自 旋 (spin) ， 也 就 是 CPU 空转 ， 以 等 待 资源 ， 此 时 并 不 需要 进行 上 下 文 切换 这 


种 高 成 本 的 操作 ， 也 许 CPU 空 转 一 些 时 间 片 ， 就 可 以 获取 到 资源 ， 但 如 果 自 旋 超过 了 一 定 的 次 数 ， 仍 然 无 法 获得 资源 ， 那 么 进程 就 需要 切换 到 睡眠 状态 进行 等 待 (OS WAIT) ， 大 量 的 OS WAIT 意 味 着 资源 


EE=3 


多 于 


很 厉害 ， 将 造成 很 高 的 上 下 文 切换 频率 。 如 果 每 秒 有 几 万 次 的 OS WAIT， 那 么 很 可 能 系统 中 存在 性 能 问题 。 


源 。 


大 量 的 spin waits 和 spin rounds， 意 味 着 CPU 在 空转 而 没有 实际 做 事 ， 这 会 消耗 大 量 的 CPU 资源 ， 所 以 有 时 我 们 看 到 系统 的 CPU 利用 率 很 高 ， 但 也 许 并 不 是 真正 地 在 做 事 ， 而 是 CPU 正在 空转 等 待 资 
通过 调整 innodb_sync_spin_loops 参 数 ， 可 以 在 CPU 资源 消耗 和 上 下 文 切 换 之 间 找 到 平衡 点 。 


(2) 死 锁 


下 面 是 一 个 系统 的 死 锁 信息 。 


LATEST DETECTED DEADLOCK 


容 。 由 输出 的 最 后 一 行 可 以 得 知 ， 回 退 到 了 事务 1。 


100206 14:46:39 

*** (1) TRANSRACTION : 

TRANSACTION 0 353348573, ACTIVE 0 sec, process no 22381, OS thread id 823933856 :inserting 
mysql tables in use 1, locked 1 

LOCK WAIT 3 lock struct(s), heap size 320, 2 row lock(s), undo log entries 1 

MYSQL thread id 3176551, query id 27696260 de140 10.12.14.181 oo0es rss update 
insert into oo0es fav (id,name,uid,mtime, ctime,wapflag,url,parent - hs type) values(” 1 
*#* (1) WAITING FOR THIS LOCK TO BE GRANTED: 

RECORD LOCKS space id 0 page no 1484846 n bits 144 index ‘uid' of table ‘oo0es rss` .ooes fav’ trx id 0 353348573 lock mode X insert intention waiting 
Record lock, heap no 1 PHYSICAL RECORD: n fields 1; compact format; info bits 0 

0: len 8; hex 73757072656d756d; asc supremum;; 

*** (2) TRANSACTION: 

TRANSACTION 0 353348572, ACTIVE 0 sec, process no 22381, OS thread id 894077856 inserting, thread declared inside InnoDB 500 

mysql tables in use 1, locked 1 

7 lock struct(s), heap size 1024, 103 row lock(s)，undo log entries 101 # 这 个 事务 更 大 

MySQL thread id 3176549, query id 27696261 de140 10.12.14.180 ooes_rss update 

*** (2) HOLDS THE LOCK(S): #Note - InnoDB only prints information about few of the locks which transaction is holding. 

RECORD LOCKS space id 0 page no 1484846 n bits 72 index ‘uid. of table ‘ooes rss ` .ooes _ fav ”trx id 0 353348572 lock mode Xx 

Record lock, heap no 1 PHYSICAL RECORD: n fields 1; compact format; info bits 0 加 

0: len 8; hex 73757072656d756d; asc supremum;; 

*** (2) WAITING FOR THIS LOCK TO BE GRANTED: 

RECORD LOCKS space id 0 page no 1484846 n bits 144 index ‘uid. of table ‘ooes rss` .ooes fav ”trx id 0 353348572 lock mode X insert intention waiting 
Record lock, heap no 1 PHYSICAL RECORD: n fields 1; compact format; info bits 0 

0: len 8; hex 73757072656d756d; asc supremum;; 

*** WE ROLL BACK TRANSACTION (1) 


1 QQ ," 7080277' ,’ 1265438796'’ ，,’” 1265438796’ ,，”,”,”,” 2 ) 


回 


解析 : 这 段 信息 展示 了 是 哪些 事务 导致 了 死 锁 、 死 锁 过 程 中 它们 的 状态 、 它 们 持 有 的 锁 、 要 等 待 的 锁 、 回 退 到 哪个 事务 ( 据 官 方 文档 可 知 ，MySQL 会 回 滚 成 本 较 小 的 事务 ， 比 如 更 新 更 少 的 行 ) 等 内 


要 留意 的 是 ， 这 里 只 显示 了 部 分 持 有 的 锁 ， 只 显示 了 事务 中 最 近 的 语句 ， 而 实际 上 占据 资源 的 可 能 是 事务 中 前 面 的 语句 。 在 一 些 简单 情况 下 ， 可 以 通过 


SHOW ENGINE INNODB STATUS 的 输出 确认 导致 死 锁 的 原因 ; 在 复杂 的 情况 下 ， 则 需要 打开 通用 日 志 ， 检 查 具 体 各 个 事务 是 如 何 互相 等 待 资源 从 而 导致 死 锁 的 。 


MySQL 5.6 可 以 通过 参数 innodb_print_all_deadlocks 将 死 锁 信息 打印 到 错误 日 志 中 。 


(3) 外 键 冲突 


以 下 为 外 键 冲 突 信息 ， 开 发 人 员 需 要 注意 。 


LATEST FOREIGN KEY ERROR- 

060717 4:29:00 Transaction: 

TRANSACTION 0 336342767, ACTIVE 0 sec, process no 3946, OS thread id 1151088992 inserting, thread declared inside InnoDB 500 
mysql tables in use 1, locked 1 

3 lock struct(s), heap size 368, undo log entries 1 

MySQL thread id 9697561, query id 188161264 localhost root update 

insert into child values (2,2) 

Foreign key constraint fails for table ‘test/child: 


7 
CONSTRAINT ‘child ibfk 1”EFOREIGN KEY (‘parent id`) REFERENCES ‘parent” (`id`) ON DELETE CASCADE 

Trying to add in child table, in index ‘par ind`” tuple: 

DATA TUPLE: 2 fields; 

0: len 4; hex 80000002; asc 77 1: len 6; hex 000000000401; asc 2 

But in parent table ‘test/parent’, in index “PRIMARY `， 

the closest match we can find is record: 

PHYSICAL RECORD: n fields 3; 1-byte offs TRUE; info bits 0 

0: len 4; hex 80000001; asc 77 1: len 6; hex 0000140c2d8f; asc - 77 2: len 7; hex 80009c40050084; asc 


(4) 事务 信息 


Trx id counter 0 80157601 

Purge done for trx’ s n:o < 0 80154573 undo n:o < 0 0 

History list length 6 

Total number of lock structs in row lock hash table 0 

LIST OF TRANSACTIONS FOR EACH SESSION: 

—--TRANSACTION 0 0, not started, process no 3396, OS thread id 1152440672 

MySQL thread id 8080, query id 728900 localhost root 

show innodb status 

—--TRANSACTION 0 80157600, ACTIVE 4 sec, process no 3396, OS thread id 1148250464, thread declared inside InnoDB 442 

mysql tables in use 1, locked 0 

MySQL thread id 8079, query id 728899 localhost root Sending data 

select sql calc found rows * from b limit 5 

Trx read view will not see trx with id >= 0 80157601, sees < 0 80157597 

—--TRANSACTION 0 80157599, ACTIVE 5 sec, process no 3396, OS thread id 1150142816 fetching rows, thread declared inside InnoDB 166 
mysql tables in use 1, locked 0 

MySQL thread id 8078, query id 728898 localhost root Sending data 

select sql calc found rows * from b limit 5 

Trx read view will not see trx with id >= 0 80157600, sees < 0 80157596 

—--TRANSACTION 0 80157598, ACTIVE 7 sec, process no 3396, OS thread id 1147980128 fetching rows, thread declared inside InnoDB 114 
mysql tables in use 1, locked 0 

MySQL thread id 8077, query id 728897 localhost root Sending data 

select sql calc found rows * from b limit 5 

Trx read view will not see trx with id >= 0 80157599, sees < 0 80157595 

—--TRANSACTION 0 80157597, ACTIVE 7 sec, process no 3396, OS thread id 1152305504 fetching rows, thread declared inside InnoDB 400 
mysql tables in use 1, locked 0 

MySQL thread id 8076, query id 728896 localhost root Sending data 

select sql calc found rows * from b limit 5 

Trx read view will not see trx with id >= 0 80157598, sees < 0 80157594 


有 务 更 新 了 大 量 数据 。 


解析 : 


务 列表 可 能 会 很 长 ， 所 以 对 于 存在 大 量 并 发 事务 的 系统 ，SHOW ENGINE INNOD STATUS 会 截 去 部 分 内 容 ， 只 显示 部 分 事务 。 


具体 输出 参数 及 其 解析 如 下 所 示 。 
Trx id counter…: 当前 事务 号 ， 每 创建 一 个 新 事务 ， 这 个 值 就 会 递增 。 


“ Purge done for trx”s n:o…: 最 近 一 次 进行 线程 清理 的 事务 号 ， 事 务 如 果 过 期 ， 则 可 以 被 清除 ， 清 除 的 标准 是 这 些 事务 已 经 提交 ， 且 不 会 再 被 其 他 的 事务 所 需要 。 


我 们 可 以 检查 当前 事务 号 和 最 近 一 次 清理 线程 所 清理 的 


务 号 的 差异 ， 例 如 ，0 (64 位 ) 80154573 (32 位 ) 与 0 (64 位 ) 80157601 (32 位 ) ， 如 果 差 异 很 大 ， 则 可 能 有 大 量 未 被 清理 的 事务 ， 或 者 少量 


务 应 该 被 及 时 提交 。 长 时 间 


Lo 


未 提交 的 事务 可 能 会 阻塞 清理 操作 ， 耗 尽 资源 ， 不 过 对 于 Web 访 问 ， 一 般 都 是 很 小 的 事务 ， 这 点 不 太 可 能 会 成 为 问题 。 


由 | 


有 务 更 新 记录 时 ， 将 在 UNDO 中 保存 记录 的 前 像 。UNDO 记 录 保 存在 InnoDB 的 共享 表 空间 内 。 


如 果 事务 未 提交 ， 或 者 其 他 用 户 需要 查询 UNDO 记 录 以 获得 一 致 性 读 ， 此 时 是 不 能 清理 这 部 分 事务 的 。 大 量 未 清理 的 事务 ， 可 能 会 导致 UNDO 空 间 暴涨 ， 在 紧急 情况 下 ， 我 们 可 以 设置 


innodb_max_purge_lag 参 数 来 延缓 新 事务 的 更 新 ， 不 过 这 个 参数 要 慎 用 ， 因 为 它 会 降低 性 能 ， 治 标 不 治本 。 


下 面 来 举 个 例子 说 明 一 下 这 个 参数 。 如 果 你 的 InnoDB 表 空间 可 以 忍受 100M 未 清理 的 行 ， 也 就 是 平均 每 个 事务 大 概 影响 1K 的 行 ， 那 么 你 可 以 设置 这 个 值 为 100000 (100M/1K) 。 


“ undo n:o: Purge 操 作 正 在 处 理 的 UNDO 日 志 记 录 号 。 


: History list length 6: 在 UNDO 空 间 内 未 被 清理 的 事务 数量 ， 在 事务 更 新 数据 的 时 候 该 值 会 增加 ， 在 事务 清理 后 该 值 会 减少 。 


“Total number of lock structs in row lock hash table 0: 行 锁 哈 希 表 (row lock hash table) 中 的 锁 结 构 (lock struct) 的 数量 ， 该 值 不 同 于 被 锁定 的 行 ， 因 为 通常 会 有 多 个 行 对 应 一 个 锁 结 构 。 


' LIST OF TRANSACTIONS FOR EACH SESSION : 


---TRANSACTION 00, not started, process no 3396, OS thread id 1152440672: 每 个 导 


部 分 事务 都 是 not started。 


需要 留意 的 是 ， 即 使 连接 的 状态 是 sleep， 


InnoDB 有 一 个 参数 为 innodb thread_concurrency， 用 来 控制 并 发 : 
STATUS 显示 有 很 多 线程 在 等 待 (waiting in InnoDB queue 或 sleeping before joining InnoDB queue) 进入 队列 ， 那 么 往往 是 有 性 能 上 的 


dl 


有 务 都 有 两 个 状态 。 即 not started 或 active。 在 生产 系统 中 ， 同 时 运行 的 线程 一 般 最 多 只 有 几 个 ， 所 以 大 


有 务 也 可 能 是 active 的 ， 因 为 事务 可 能 是 多 语句 的 ， 在 生产 环境 中 可 以 发 现 ， 一 些 长 时 间 sleep 的 异常 线程 可 能 会 持 有 着 资源 不 释放 ， 从 而 导致 整个 系统 出 现 异 


执行 的 线程 数 。InnoDB 试 着 在 其 内 部 控制 操作 系统 线程 的 数量 ， 使 其 少 于 或 等 于 这 个 参数 给 出 的 限制 。 如 果 SHOW INNODB 


问题， 导致 系统 挂 死 。MySQL 让 等 待 的 线程 睡眠 ， 从 避免 大多 


线程 并 发 竞争 ， 如 果 你 的 计算 机 有 多 个 处 理 器 和 磁盘 ， 则 可 以 试 着 将 这 个 值 调整 得 更 大 以 更 好 地 利用 计算 机 的 资源 。 一 个 推荐 的 值 是 采用 系统 上 处 理 器 和 磁盘 的 个 数 之 和 。 


@ 注 意 MySQL 的 配置 里 还 有 一 个 thtead_concurrency 参 数 ， 建 议 设 置 为 CPU 数 的 2 倍 大 小 。 此 变量 仅仅 影响 Solaris 系 统 。 在 Solatis 中 ，mysqld 用 该 值 调用 thr_setconcutrrency0 函数 。 该 函数 使 得 应 用 程序 可 
以 向 线程 系统 提供 需要 同时 运行 的 、 期 望 的 线程 数目 。 此 外 ， 其 实 innodb_thread_concurrency 这 个 参数 才 会 影响 到 所 有 的 平台 。 


: mysql tables in use 1,locked 0: 访问 的 表 数 目 ， 锁 定 的 表 数 目 。 一 般 的 操作 是 不 会 锁 表 的 ，InnoDB 支 持 行 级 锁 ， 所 以 locked 一 般 等 于 0， 除 非 是 进行 ALTER TABLE、LOCK TABLE 之 类 的 操作 。 


: MySQL thread id 52111305: SHOW PROCESSLIST 命 令 输 出 中 的 id 列 。 


(5) VO 信 息 


以 下 是 IO helper threads 的 状态 。 


I/O thread 0 state: 
I/O thread 1 state: 
I/0 thread 2 state: 
I/O thread 3 state: 


这 4 个 线程 (Unix/Linux 下 总 是 4 个 ) 的 作 上 


waiting for 
waiting for 
waiting for 
waiting for 


i/o 
i/o 
i/o 
i/o 


request 
request 
request 
request 


insert buffer thread) 
log thread) 

read thread) 

write thread) 


( 
( 
( 
( 


当前 看 到 它们 的 状态 都 是 waiting for i/o request。 


分 别 是 insert buffer merges、asynchronous log flushes、read-ahead 和 flushing of dirty buffers。 


Pending normal aio reads: 0, aio writes: 0， 
ibuf aio reads: 0, lo0g i/o’ s: 0, sync i/o ” s: 0 

Pending flushes (fsync) log: 0; buffer pool: 0 

6845394 OS file reads, 209547550 OS file writes, 1051178 OS fsyncs 
7.27 reads/s, 16384 avg bytes/read, 256.68 writes/s, 1.88 fsyncs/s 


如 果 以 上 Pending 为 非 零 值 ， 则 可 能 存在 MO 瓶颈 。 


对 于 随机 VO， 因 InnoDB 的 MO 最 小 和 


元 (page size) =16KB。 所 以 为 16384 avg bytes/read， 对 于 全 表 扫 描 (full table scan) 、 索 引 范 


(6) INSERT BUFFER AND ADAPTIVE HASH INDEX 


MySQL 并 没有 提供 手段 对 以 下 结构 进行 调 优 。 


站 扫描 (index scan) ， 这 个 avg bytes/read 会 大 得 多 。 


INSERT BUFFER AND ADAPTIVE HASH INDEX—To—CC————TTQQ 
Ibuf: size 1, free list len 0, seg size 2, 


这 里 ibuf 即 Insert buffer， 虽 然 英 文中 说 的 是 “buffer”， 但 实际 上 这 是 分 配 在 InnoDB 表 空间 中 的 一 块 区 域 ， 它 可 以 和 


可 以 合并 对 索引 叶 节 点 的 更 改 操作 。 


(7) LOG 


下 面 将 讲述 InnoDB 的 log 子 系统 。 


他 数据 块 一 样 ， 缓 存在 InnoDB 缓 冲 池 里 ，Insert buffer 可 以 减少 |/O， 因 为 它 


LOG— 


Log sequence number 449 61757582 
449 61751106 


Log flushed up to 


Last checkpoint at 448 4209429402 
0 pending log writes, 0 pending chkp writes 
201992232 1og i/o’ s done, 250.14 log i/o’” s/second 


其 中 的 输出 参数 及 其 


解析 具体 如 下 。 


“Log sequence number 44961757582: 表 空 间 创 建 后 写 入 log buffer 的 字 节 数 ， 这 个 值 可 以 用 来 衡量 日 志 的 写 入 速度 。 通 过 采样 Log sequence number 的 输出 ， 可 以 获取 每 秒 写 入 的 日 志 量 ， 如 果 我 们 要 设置 
InnoDB 事 务 日 志 的 大 小 ， 那 么 能 保持 连续 写 入 日 志 30~60 分 钟 为 佳 。 


“ Log flushed up to 44961751106: 最 近 刷 新 (flush) 数据 的 位 置 。 


由 此 可 以 计算 还 有 多 少 未 刷新 到 日 志文 件 (logfile) 的 数据 。 如 果 这 些 数据 大 于 innodb log_buffer size 的 30%， 那 么 就 要 考虑 是 否 应 增加 


Last checkpoint at 4484209429402: 最 近 一 次 检查 点 的 位 置 。 


“0 pending log writes,0 pending chkp writes: pending 如 果 大 于 0， 则 可 能 有 I/O 〇 瓶颈 。 


* 201992232 logi/o”s done,250.14 logi/o”s/second: 这 些 输出 衡量 了 我 们 的 logI/O。 


(8) BUFFER POOL AND MEMORY 


志 缓 冲 (log buffer) 了 。 


以 下 是 InnoDB 缓 冲 池 的 信息 。 


Total memory allocated 4648979546; in additional Pool allocated 16773888 
Buffer pool size 262144 

Free buffers 0 

Database pages 258053 

Modified db pages 37491 

Pending reads 0 

Pending writes: LRU 0, flush list 0, single page 0 

Pages read 57973114, created 251137, written 10761167 

9.79 reads/s, 0.31 creates/s, 6.00 writes/s 

Buffer pool hit rate 999 / 1000 


需要 说 明 的 是 “Buffer pool hit rate” 的 参考 价值 不 是 很 大 。 即 使 有 很 高 的 命中 率 ， 也 可 能 有 大 量 的 物理 磁盘 读 写 。 
(9) ROW OPERATIONS 


以 下 是 行 操作 信息 。 


0 queries inside InnoDB，0 queries in queue 

1 read views open inside InnoDB 

Main thread process no. 10099, id 88021936, state: waiting for server activity 
Number of rows inserted 143, updated 3000041, deleted 0, read 24865563 

0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s 


我 们 可 以 由 以 上 信息 获知 各 种 查询 的 大 概 频率 ， 需 要 留意 的 是 如 果 “0 queries in queue” 不 为 0， 则 是 有 查询 需要 等 待 ， 可 能 意味 着 系统 忙 ， 你 需要 做 进一步 的 诊断 。 


Oi 本 章 介 绍 了 MySQL 运 维 所 需要 了 解 的 各 种 数据 库 文件 及 MySQL 如 何 进行 灾难 恢复 。 你 必须 了 解 各 种 文件 的 作用 和 机 制 ， 避 免 在 操作 系统 下 对 数据 库 文件 误 操 作 。 本 章 还 介绍 了 数据 库 的 参数 设 
置 与 配置 文件 ，MySQL 的 配置 不 应 该 经 常 变动 ， 你 应 该 使 用 大 多 数 人 建议 的 配置 ， 根 据 自己 的 生产 环境 做 适当 调整 即 可 。 最 后 介绍 了 查询 缓冲 和 MySQL 优 化 器 ， 我 们 要 熟悉 这 些 主要 的 组 件 。 此 外 ， 还 讲述 
了 如 何 阅读 SHOW INNODB STATUS\G 命 令 的 输出 。 


其 他 的 一 些 基础 知识 已 在 开发 篇 中 进行 了 介绍 ， 比 如 索引 设计 、 查 询 优化 。 读 者 也 应 该 熟悉 这 些 内 容 。 


第 11 章 “MySQL 的 监控 


为 什么 我 们 需要 监控 呢 ? 因为 如 果 没 有 了 监控 ， 那 么 我 们 的 服务 可 用 性 就 无 从 度量 ， 我 们 也 无 法 及 时 地 发 现 问题 和 处 理 问题 。 一 个 完善 的 监控 体系 ， 不 仅 需要 进行 实时 的 监控 ， 也 需要 分 析 历 史 的 监控 
数据 ， 以 便 掌握 性 能 和 容量 趋势 的 变化 ， 从 而 为 产品 、 架 构 人 员 提 供 决策 的 依据 。 


本 章 将 为 读者 讲述 针对 MySQL 所 提供 的 监控 方法 ， 然 后 ， 再 来 探讨 下 数据 库 监控 的 友好 呈现 ， 也 就 是 数据 的 可 视 化 技术 。 


11.1“ 非 数 据 库 的 监控 


11.1.1 开源 监控 工具 /平台 


一 个 完整 的 监控 体系 ， 要 求 能 够 监控 各 种 非 数据 库 的 资源 ， 如 操作 系统 、 硬 件 、 网 络 等 。 目 前 比较 流行 的 方式 是 部 署 一 些 集中 监控 工具 ， 当 你 需要 维护 越 来 越 多 的 机 器 ， 特 别 是 基于 云 的 部 署 时 ， 一 个 
集中 式 的 监控 产品 就 会 变 得 很 重要 了 ， 你 可 以 从 该 监控 界面 上 ， 查 看 所 有 设备 的 使 用 情况 。 


对 于 集中 式 的 监控 产品 ， 一 般 需要 在 被 监控 的 服务 器 中 部 署 一 个 代理 服务 (agent) 来 收集 数据 ， 如 Ganglia、Nagio 等 ， 或 者 通过 一 些 系 统 服务 收集 信息 ， 比 如 snmp。 广 泛 使 用 的 一 些 平台 有 
Zabbix、Nagios、Ganglia、Cacti， 读 者 可 以 自行 阅读 相关 图 书 ， 学 习 如 何 使 用 它们 ， 本 书 将 只 关注 数据 库 的 性 能 监控 和 故障 发 现 。 


有 时 我 们 希望 能 够 开发 出 自己 的 数据 库 监控 平台 ， 自 己 编写 脚本 、 工 具 来 收集 信息 。 这 样 会 更 有 针对 性 。 不 过 笔者 建议 读者 使 用 市 面 上 流行 的 监控 工具 或 平台 ， 很 多 监控 平台 都 有 MySQL 相 关 的 监控 插 
件 ， 我 们 需要 做 的 只 是 少量 的 二 次 开发 工作 。 完 全 重新 开发 一 个 监控 平台 的 成 本 往往 会 比较 高 ， 需 要 综合 权衡 是 否 有 必要 投入 人 力 去 实现 ， 有 时 ， 在 一 些 开源 软件 上 做 二 次 开发 ， 是 更 经 济 的 方式 。 


11.1.2 ”编写 程序 来 收集 信息 


如 果 我 们 想 要 自己 编写 脚本 收集 信息 ， 那 么 ， 对 于 操作 系统 的 信息 收集 一 般 有 两 种 方式 。 


第 一 种 ， 使 用 工具 收集 。 可 以 使 用 vmstat、dstat、iostat、sar、netstat 这 些 工具 /命令 实时 观察 操作 系统 。 


第 二 种 ， 直 接 使 用 接口 ， 比 如 读 取 /proc/ 伪 文件 系统 数据 这 种 方式 ，/proc 是 许多 可 视 化 工具 获取 信息 的 来 源 ， 一 些 工具 ， 如 ps、top、pmap 其 实 就 是 读 取 /proc 下 的 数据 。 使 用 这 种 方式 有 一 个 风险 ， 
那 就 是 它们 可 能 没有 工具 那么 通用 ， 在 系统 升级 后 ， 数 据 格式 可 能 会 有 变化 ， 你 需要 调整 处 理 数据 的 程序 。 


在 Linux 系 统 中 ，/proc 是 一 个 伪 文 件 系 统 (启动 时 动态 生成 的 文件 系统 ) ， 它 是 访问 内 核 统计 数据 的 一 个 接口 ， 由 于 /proc 不 是 一 个 真正 的 文件 系统 ， 因 此 它 并 不 占用 存储 空间 ， 而 是 占用 有 限 的 内 存 。 
/proc 下 面 有 很 多 以 进程 id 命名 的 目录 ， 目 录 下 的 很 多 文件 记录 了 进程 的 使 用 信息 。/proc 目 录 下 也 有 一 些 系统 级 别 的 统计 信息 ， 如 /proc/meminfo 就 记录 了 内 存活 动 和 统计 信息 。 


自行 编写 程序 进行 监控 需要 考虑 到 如 下 一 些 要 点 。 


1) Linux 的 MO 是 比较 难 监 控 的 ， 如 果 在 一 台 主 机 之 上 有 多 个 应 用 ， 那 么 判断 MO 负 荷 重 的 业务 有 哪些 将 会 很 困难 。 安 装 iotop 之 类 的 工具 可 以 更 快 地 定位 到 /MO 负荷 重 的 进程 之 上 ， 但 iotop 之 类 的 工 
需要 新 的 内 核 支 持 。 


2) 由 于 SSD 的 大 量 使 用 ， 因 此 还 需要 增加 对 SSD 的 监控 ， 常 用 的 方式 是 使 用 smartctl 命 令 进 行 监控 。 


3) 有 时 我 们 需要 模拟 业务 访问 。 人 的 行为 是 复杂 的 ， 复 杂 的 业务 系统 更 是 充满 了 变数 ， 模 拟人 的 行为 是 一 件 困难 且 富 有 挑战 性 的 事情 ， 我 们 应 该 模拟 尽量 真实 的 访问 ， 这 样 才能 得 到 真实 的 反馈 ， 从 而 
衡量 服务 是 否 真 的 健壮 、 可 靠 、 体 验 良好 。 


4) 要 注意 收集 信息 的 频率 ， 粒 度 太 大 了 可 能 不 能 及 时 发 现 问题 。 
5) 要 防止 积压 收集 信息 的 程序 任务 。 


6) 要 确保 报警 通知 到 人 ， 还 要 确保 邮件 服务 、 短 信 等 通道 的 正常 。 


11.2 ”数据 库 的 监控 


11.2.1 数据 库 服务 的 基本 监控 方式 


一 般 数据 库 的 监控 包括 探测 数据 库 主 库 的 可 用 性 、 复 制 状态 监控 、 数 据 库 的 性 能 监控 、 数 据 库 的 故障 发 现 等 。 


对 于 数据 库 主 库 的 监控 ， 可 以 在 主 库 上 创建 一 张 监控 表 ， 使 用 监控 程序 定期 去 读 写 这 张 表 中 的 数据 ， 以 判断 数据 库 是 否 可 以 正常 提供 服务 。 


对 于 数据 库 从 库 的 监控 ， 由 于 从 库 一 般 都 是 只 读 的 ， 因 此 只 需要 定期 查询 从 库 上 监控 表 的 数据 即 可 。 


对 于 复制 状态 的 监控 ， 由 于 主 库 有 定期 更 新 的 监控 表 ， 因 此 可 以 认为 它 也 是 一 张 心跳 表 ， 表 里 的 数据 带 有 时 间 戳 信息 ， 主 库 监控 表 (心跳 表 ) 每 分 钟 被 UPDATE 一 次 ， 去 从 库 中 查询 对 应 的 记录 ， 就 可 


以 依据 记录 内 的 时 间 戳 信息 来 确认 延 时 了 多 少 。 这 里 需要 说 明 的 是 ，MySQL 自 身 的 SHOW SLAVE STATUSNG 显 示 的 延 时 时 间 可 能 是 不 准确 的 ， 所 以 ， 推 荐 使 用 心跳 表 的 方式 。 


需要 注意 的 是 ， 每 次 信息 收集 的 时 间 间 隔 不 能 太 大 ， 否 则 会 难以 发 现 和 诊断 问题 。 比 如 磁盘 1/O 数 据 每 10 分 钟 才 去 收集 一 次 ,数据库 性 能 每 隔 几 分 钟 才 去 收集 一 次 ， 就 不 是 一 个 好 的 选择 。 


数据 库 的 性 能 监控 主要 依靠 于 收集 MySQL 的 一 些 状态 变量 ， 也 就 是 SHOW GLOBAL STATUS 的 输出 。 


数据 库 的 故障 发 现 涉及 的 内 容 包 括 : 分 析 MySQL 的 查询 响应 、 错 误 日 志 ， 以 及 监控 是 否 可 以 读 写 数据 库 。 


11.2.2 ”应 该 收集 的 信息 和 收集 方法 


我 们 收集 的 信息 主要 包括 MySQL 的 运行 状态 、 程 序 性 能 日 志 、 慢 查询 日 志 、 状 态 变量 、 数 据 量 、 数 据 占用 空间 等 。 


1.MySQL 的 参数 及 运行 状态 
以 下 代码 可 查看 MySQL 实 例 的 参数 及 运行 状态 。 


SHOW VARIABLES LIKE '‘'%parameter$®' ; 
SHOW FULL PROCESSLIST ; 
SHOW INNODB STATUS \G; 


以 下 是 对 一 个 SHOW PROCESSLIST 的 解析 。 可 以 看 到 不 同 状态 下 线程 的 比例 。 


mysql -uroot -p -S /path/to/tmp/3306/mysql.sock -~e 'SHOW PROCESSLIST\G' | grep State: | sort | uniq -c | sort -rn 


下 面 来 解释 一 些 常用 的 状态 。 


“Sleep: 线程 正在 等 待 来 自 客户 端的 新 查询 。 


Query: 线程 正在 执行 查询 ， 或 者 正在 发 送 结果 给 客户 端 。 

“ Locked: 线程 正在 等 待 表 锁 。 

“ Analyzing 和 statistics: 线程 正在 获取 存储 引擎 的 统计 数据 和 优化 查询 。 

:Copyingto tmp tablelon disk]: 线程 正在 处 理 查询 ， 复 制 数据 到 临时 表 中 。 如 果 后 面 有 “on disk” 字 样 ， 则 表明 MYSQL 正在 将 内 存 临时 表 转 换 为 磁盘 临时 表 。 
“Sorting result: 线程 正在 排序 结果 集 。 

“ Sending data: 这 个 状态 有 多 种 可 能 ， 可 能 是 内 部 各 步骤 之 间 传 递 数 据 ， 生 成 结果 集 ; 或 者 是 将 结果 集 返 回 给 客户 端 。 


大 多 数 状态 对 应 的 操作 都 非常 快 。 如 果 一 个 线程 停留 在 一 个 给 定 的 状态 好 几 秒 ， 那 么 它 可 能 是 有 问题 的 ， 需 要 进一步 查 明 。 


下 面 来 查看 InnoDB 的 一 些 统计 数据 ， 命 令 如 下 所 示 。 


SHOW INNODB STATUS \G; 


如 下 命令 可 查看 SQL 的 执行 频率 ， 实 时 显示 当前 各 种 SQL 的 执行 频率 等 信息 ， 该 命令 摘录 自 网 上 。 


mysqladmin -uroot -p -r -i 2 extended-status |awk -F "|" "BEGIN { count=0; } { if($2 ~ /Variable name/ && +toount$15 == 1) {print =~-—————=——|-————-——=—|--—— 


MySQL Command Status 


如 果 需 要 做 进一步 的 分 析 ， 也 可 以 用 tcpdump 配 合 pt-query-digest 工 具 来 获取 更 多 的 信息 ， 它 所 生成 的 报告 不 仅 包括 SQL 的 计数 ， 还 包括 SQL 的 耗 时 及 其 他 成 本 信息 。 


首先 ， 在 root 用 户 下 执行 如 下 命令 。 


nohup tcpdump -i ethl port 3306 -s 65535 -x -nn -q -tttt > db1000 sql new.log & 


然后 在 mysql 用 户 下 执行 如 下 命令 。 


./Pt-query-digest --type=tcpdump --watch-server 11.11.11.11:3306 db1000 sql new.log > app db.rtf 


对 于 以 上 生产 报告 ， 可 以 发 送 邮件 给 DBA 阅 读 ， 或 者 将 其 过 滤 后 存放 在 数据 库 中 。 


SQL 的 统计 最 好 在 应 用 


1) 直接 记录 SQL 到 日 志 ， 统 计 日 志 中 各 种 查询 的 比例 。 


nN 


根据 Web 服 务 器 日 志 ， 例 如 根 拉 


= 
忘 


这 里 所 说 的 性 能 日 志 ， 一 般 是 指 程序 性 能 日 志 。 很 多 公司 并 没有 考虑 性 能 日 志 , 3 


我 们 应 先 查 看 整个 应 


例如 ， 对 于 一 个 PHP 程 序 ， 应 该 收集 的 信息 3 


“ 合计 执行 时 间 (页 面 执 行 时 间 ) 。 


其 他 各 部 分 时 间 相 加 应 等 于 合计 执行 时 间 ， 
“ 每 个 查询 的 执行 时 间 。 

“ 打开 的 连接 。 

“ 对 外 部 服务 的 调用 。 


“ 可 能 消耗 资源 较 大 的 数据 库 操作 。 


如 果 性 能 日 志 足 够 详细 ， 那 么 就 可 以 快速 地 定位 性 能 的 瓶颈 所 在 了 ， 从 而 判断 是 否 真 的 是 MySQL 导 致 了 性 能 问题 ， 是 否 访问 MySQL 耗 费 了 绝 大 部 分 的 页 面 
题 的 环节 。 关 于 性 能 日 志 更 详细 的 信息 请 参考 4.4 节 。 


性 存在 问 


2 
3 


3. 慢 查询 日 志 


除了 SHOW GLOBAL STATUS 和 SHOW PROCESSLIST 之 外 ， 还 可 以 检查 慢 查 询 日 志 ， 一 般 推荐 优先 采 


二 
恋 : 


MySQL 提 供 了 两 类 


通 


居 一 天 中 高 峰 期 一 个 小 时 的 日 志 ， 统 计 涉及 某 些 功能 (SQL) 页 


的 性 能 表现 ， 从 总 体 上 来 分 析 。 一 般 来 说 ， 程 序 的 性 能 日 志 是 最 容易 


层 收集 信息 ， 这 是 笔者 推荐 的 方式 ，SQL 的 很 多 统计 ， 结 合 应 用 才能 易于 理解 ， 才 能 更 好 地 评判 是 否 应 该 进行 优化 ， 大 致 方法 如 下 。 


的 


志 在 总 的 


志 中 所 占 的 比例 。 


要 是 出 于 开发 的 成 本 考虑 。 但 一 个 


诊 


断 出 性 能 瓶颈 的 ， 性 全 


良好 的 、 完 善 的 服务 程序 ， 应 该 包含 自 诊断 的 信息 ， 以 协助 诊断 问题 。 


日 志 也 可 以 


形 的 方式 展示 出 应 


后 扩容 的 依据 。 


的 性 能 变化 趋势 ， 方 便 作为 以 


别 不 能 过 大 ， 否 则 就 要 研究 是 否 哪 部 分 操作 未 做 记录 。 


前 


要 注意 日 志 的 空间 消耗 ， 可 能 还 需要 考虑 轮 询 切 割 日 志 。 一 般 情况 下 没 必 


慢 查询 日 志 记录 了 慢 查询 情况 ， 我 们 可 以 把 捕捉 到 的 日 志 二 次 处 理 后 发 送 给 


需要 设置 的 参数 如 下 。 


志 (general log) 和 慢 查 询 日 志 (slow log) 。 通 用 日 志 记录 了 接收 的 所 有 查询 。 
启用 通用 日 志 。 这 里 仅 分 析 慢 查询 日 志 。 


MySQL 5.0 需 要 设置 log_slow_queries 和 slow_launch time。 


MySQL 5.1 需 要 设置 sow_query log 和 long_query time， 这 里 不 需 


如 ， 设置 long_query time=0.01。 


再 使 


有 一 个 参数 log_ queries_not using indexes， 也 可 以 协助 分 析 ， 不 过 小 表 无 须 建立 索引 速 


有 一 些 补丁 或 MySQL 分 支 ， 如 Percona Server， 可 以 显示 出 更 翔实 的 慢 查询 信息 ， 


有 告诉 我 们 查询 为 什么 会 变 慢 。 


某 个 SQL 


现在 慢 查询 日 志和 


次 使 


对 于 慢 查询 日 志 的 分 析 可 以 使 


MySQL 


对 于 慢 查询 日 志 ， 可 以 关注 执行 时 间 过 长 的 查询 ， 或 者 执 


通过 如 下 命令 ， 可 以 看 到 每 秒 的 


awk '/^# Time:/{print $3, $4, c;c=0}/ 


态 变 量 


4. 状 


里 ， 并 不 意味 着 这 就 是 一 个 质量 差 
时 未 被 缓存 、 磁 盘 /O 紧 张 、 内 存 泄 露 等 。 现 实 中 ， 如 果 一 个 查询 平时 运 


慢 查 询 统计 ， 以 方便 绘 医 


4 二 得 


行人 


带 的 mysqldumpslow 来 实现 ， 还 有 一 些 比 mysq 


个 


。 当 检查 到 有 突变 时 ， 往 往 这 


^# User/{c++}' slLowquery.1og 


如 SHOW GLOBAL STATUS、SHOW SESSION STATUS 和 SHOW PROFILE 


查看 全 


SHOW GLOBAL STATUS LIKE '%parameter$®'; 


查看 吞吐 率 时 ， 可 多 次 运行 下 面 的 命令 ， 检 查 增 量 。 
SHOW GLOBAL STRTUS LIKE “squestions”; 
SHOW GLOBAL STRTUS LIKE “Com %’” ; 


也 可 以 使 


slow launch_ time 这 个 参数 了 ， 


时 


时 间 。 进 行 压力 测试 的 时 候 ， 可 以 定位 伸缩 


面 两 种 方式 检查 系统 ， 慢 查询 的 检查 又 耗 时 又 复杂 。 


F 
上 


这 个 日 志 有 助 于 判断 读 写 的 比例 ， 看 MySQL 的 主要 工作 是 什么 ? 但 打开 通 


发 人 员 进 行 优 化 ，MySQL 5.1 及 以 上 版 本 可 以 动态 启 F 


慢 查 询 


启 后 才能 生效 。 


志 ，MySQL 5.0 则 需要 和 


为 这 个 参数 不 能 设置 到 毫秒 级 。MySQL 5.1.21 后 可 以 进 


WE 


行 旱 


秒 级 的 慢 查 询 记录 ， 例 


度 也 很 快 ， 这 样 的 情况 下 


， 使 用 该 参数 可 能 会 导致 产生 大 量 的 日 志 记 录 。 因 


此 建议 忽略 这 个 参数 ， 不 予 设置 。 


有 助 


我 们 探查 到 底 是 什 


的 SQL， 也 并 不 表示 现在 或 未 来 这 个 查询 很 慢 ， 也 许 你 手动 
很 快 ， 但 在 发 现 性 能 问题 时 被 记 入 慢 查询 


行 次 数 过 多 的 查询 ， 或 者 结果 集 过 大 的 查询 。 


> /tmp/aaa.log 


dumpslow 更 强大 的 分 析 工 : 


因 因 


导致 的 查询 慢 ， 


为 官方 版 本 中 慢 查询 


么 原 志 默 认 的 输出 信息 都 比较 粗略 ， 并 没 


执行 它 ， 会 非常 之 快 。 有 诸多 因 
日 志 ， 可 能 是 因为 其 他 查询 占 


素 会 影响 到 SQL 的 响应 : 如 锁 表 、 数 据 或 索引 初 
了 大 量 的 系统 资源 ， 被 阻塞 而 导致 的 。 


， 如 pt-query-digest。 


| 候 会 有 异常 发 生 ， 可 以 更 进一步 到 具体 的 慢 查询 日 志 中 去 查找 可 能 的 原因 。 


如 下 命令 检查 多 个 系统 状态 变量 的 变化 。 


SHOW GLOBAL STATUS WHERE Variable name LIKE 'Com _ select' OR Variable name LIKE 'Com insert' OR variable name LIKE 'com update' OR variable name LIKE 'com delete' OR variable na 


使 


mysqladmin -uroot -p extended-status 


mysqladmin 命 令 可 监视 状态 变量 的 变化 ， 注 意 如 下 命令 中 添加 了 参数 -r。 


二 和 = 了 人 


legrep "Com select|Com insert1Com delete|Com updatelQcache hits|Handler writel Handler read” 


mysqladmin 命 令 的 另 一 个 示例 如 下 。 


mysqladmin -uroot -p -il | awk ' 
/Queries/{q=$4-qp; qp=$4} 

/Threads connected/{tc=$4} 

/Threads running/{printf "%5d %5d %5d\n", q, tc, $4}' 


也 可 以 使 用 监控 工具 的 一 些 插件 来 监控 状态 变量 的 变化 ， 如 使 用 Cacti 的 MySQL 插 件 。Cacti 有 丰富 的 模板 支持 ， 可 以 近乎 实时 地 监察 MySQL 的 运行 状态 。 它 主要 也 是 用 
STATUS 的 信息 。 


于 获取 SHOW GLOBAL 


关于 查询 读 写 比率 的 计算 ， 可 以 大 致 采用 如 下 的 公式 进行 计算 。 


(SELECT + Qcache hits ) / (INSERT + UPDATE + REPLCACE + DELETE) 


相应 的 状态 变量 可 以 查询 以 “com_” 或 以 “handler ”为 前 缀 的 一 些 变量 。 
在 SHOW GLOBAL STATUS 中 ， 我 们 需要 关注 的 主要 有 以 下 几 个 计数 器 : handler、temporary files、command、wait。 


有 时 我 们 需要 单独 分 析 一 些 查询 的 成 本 ， 需 要 先 手动 清除 状态 变量 (运行 命令 FLUSH STATUS) ， 然 后 再 运行 查询 ， 最 后 重新 运行 SHOW SESSION STATUS， 从 此 来 查看 查询 所 耗费 的 成 本 。 


SHOW SESSION STATUS， 顾 名 思 义 ， 显 示 的 是 当前 会 话 的 状态 变量 ， 它 不 受 其 他 进程 的 影响 。 


以 下 示例 显示 了 执行 一 个 SQL 后 会 话 的 Select% 状 态 的 变化 ， 为 了 节省 空间 ， 这 里 没有 列 出 所 有 状态 的 值 。 


flush status; 

mysql> SELECT SQL NO CACHE http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... from http://www.hzcourse.com/resource/resa 
mysql> show session status like 'Select%'; 
| Variable name | Value | 

二 -一 一 一 一 一 一 一 一 一 -一 -一 -一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 十 

Select full join | 中 + 二 | 

Select full range join | 

| Select range | 0 | 

| Select range check | 0 | 

| Select scan T 2 | 

+- 一 一- 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 -一 一 十 


“ Select_full_join: 全 表 扫 描 连 接 的 次 数 ， 如 果 该 值 比较 高 ， 那 么 可 能 是 没有 正确 地 创建 索引 。 
“ Select_full_range_join: 在 引用 的 表 中 使 用 范围 查找 的 连接 数量 。 
' Select_scan: 执行 了 全 表 扫 描 的 数量 。 


如 下 命令 将 检查 存储 引擎 操作 。 


mysql> SHOW SESSION STATUS LIKE 'Handler%®'; 


十 -一 -一 -一 -一 -一 -一 -一 --- 一 -一 -一 十 一 -一 -一 -一 -一 十 
Variable name Value | 

十 -一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 一 一 一 一 一 一 一 + 
Handler commit | 0 | 
Handler delete 0 | 
Handler discover | 0 | 
Handler prepare | 0 | 
Handler read first | 1 | 
Handler read key | 5665 | 
Handler read next | 5662 
Handler read prev 0 | DESC。 
Handler read rnd | 200 | 


Handler rollback | 


Handler read rnd next | 207 | 


0 1 


Handler s. avepoint 0 1 

Handler savepoint rollback | 0 | 
Handler update | 5262 | 

Handler write | 219 | 


“ Handler read_first: 索引 中 第 一 条 被 读 的 次 数 。 如 果 较 高 ， 则 代表 服务 器 正在 执行 大 量 全 索引 扫描 。 
' Handler_read_key: 根据 键 读 取 一 行 记录 的 请 求 数 。 如 果 该 值 较 高 ， 则 说 明 查询 和 表 的 索引 是 正确 的 。 
“ Handler read_next:; 按照 键 顺序 读 下 一 行 的 请 求 数 。 如 果 你 使 用 范围 约束 或 执行 索引 扫描 来 查询 索引 列 ， 那 么 该 值 会 增加 。 


“ Handler_read_prev: 按照 键 顺序 读 取 前 一 行 的 请 求 数 。 


“ Handler read_rnd: 根据 固定 位 置 读 取 一 行 的 请 求 数 。 如 果 你 正 执行 大 量 的 查询 并 且 需 要 对 结果 进行 排序 ， 那 么 该 值 会 较 高 。 如 果 使 用 了 大 量 需 要 MySQL 扫 描 整 个 表 的 查询 语句 ， 或 者 连接 没有 正确 地 
使 用 键 ， 那 么 该 值 也 会 较 高 。 


* Handler_read_rnd_next: 在 数据 文件 中 读 取 下 一 行 的 请 求 数 。 如 果 你 正在 进行 大 量 的 表 扫 描 ， 那 么 该 值 会 较 高 。 通 常情 况 下 ， 该 值 高 说 明 你 的 表 索 引 不 正确 ， 或 者 写 入 的 查询 没有 利用 索引 。 
“ Handler update: 在 表 内 插入 一 行 的 请 求 数 。 以 上 示例 中 Handler update 计数 器 的 值 比较 高 ， 是 因为 MySQL 的 GROUP BY、ORDER BY 操作 会 先 把 表 写 入 一 个 临时 表 ， 扫 描 后 进行 排序 ， 然 后 进行 输出 。 
“ Sort_merge_passes: 排序 算法 已 经 执行 了 合并 的 数量 。 如 果 这 个 变量 值 较 大 ， 则 应 该 考虑 增加 sort_buffer_ size 系统 变量 的 值 。 


如 下 命令 将 检查 sort 相 关 的 统计 。 


mysql> SHOW SESSION STATUS LIKE 'Sort 委 "7 


4 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 十 

| Variable name | Value | 

二 -一 -一 一- 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 -一 一 十 

| Sort merge passes | 0 | | Sort range | 0 | 


| Sort rows | 200 | 
| Sort scan | 1 | 
+-----=--------------- 二 -一 -一 -一 -一 一 十 


' Sort_rows: 已 经 排序 的 行 数 。 


“ Sort_scan: 通过 扫描 表 完 成 排序 的 数量 。 


如 下 命令 将 查看 临时 表 的 创建 情况 。 


YS SHOW SESSION SIIUS LIKE 'Created%®'; 


| Created tmp disk cbles | 


| Created | tmp - files | 
| Created tmp tables | 和 | 


* Created_tmp_disk_tables: 


如 果 持 续 增加 ， 那 么 可 能 是 有 性 能 问题 。 


然 会 受到 内 部 操作 的 影响 ， 建 议 多 运行 几 次 查询 ， 从 而 得 到 一 个 比较 可 靠 的 增 量 。 笔 者 将 在 后 续 章节 里 更 详细 地 解释 一 些 状态 变量 的 含义 。 


以 上 输出 可 能 
另外 还 有 一 个 简单 易 用 的 方法 ， 使 
下 面 的 示例 将 使 用 SET profiling=1 


SHOW PROFILE。 该 功能 默认 是 关闭 的 ， 但 是 会 话 级 别 可 以 开启 这 个 功能 。 开 启 它 可 以 让 MySQL 收 集 在 执行 语句 的 时 候 所 使 用 的 资源 和 耗 时 。 


启 这 个 功能 。 


oot@localhost test>SHOW OE LIKE '%profil%'; 


| Variable name | Value | 
i he 

| profiling | OFF | 

| profiling history size | 15 | 

+------------------=-- 二 -一 -一 一 -一 一 十 


2 rows in set (0.00 sec) 
root@localhost test>SET profiling = 1; 

Query OK, 0 rows affected (0.00 sec) 
root@localhost test>SELECT COUNT (*) FROM testad; 


row in set (0.00 sec) 
root@localhost test>SHOW PROFILES \G; 
尖 次 炎炎 大 六 次 六 六 次 大 太 奖 交 类 大 闫 六 交 六 六 次 太太 交大 了。 
Query ID: 1 

Duration: 0.00015100 


Query: select count (*) 


1 row in set (0.00 sec) 


ERROR: 


No query specified 
root@localhost ee ROP TS 


工 OW 认 册 闪 六 闫 大庆 六 闫 商 交 六 闪 关 六 大庆 六 闪 亦 奖 交 交大 六 


from testad 


| 1 | 0.00015100 | select Co El ) from testad | 
| 2 | 0.00017100 | select count (*) from testac | 
Fi 十 一 一 一 一 一 一 一 -一 一 一 -一 十 一 一 一 一 一 一 一 一 十 


如 果 SHOW PROFILE 后 不 加 参数 ， 则 显示 最 近 的 查询 统计 。Status 栏 位 与 SHOW FULL PROCESSLIST 的 Status 栏 位 相同 。 


root@localhost test>SHOW PROFILE; 

十 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 -一 -一 -一 一 十 
Status | Duration | 

+--------------------------------- 二 -一 -一 -一 -一 -一 一 十 


Starting 


cleaning 


| 0.000031 | 


000010 | 


up | 0.000002 | 


checking query cache for query | 0.000035 | 
Opening tables | 0.000011 | 
System lock | 0.000004 | 
Table lock | 0.000019 | 
rit | 0 
optimizing | 0.000006 | 
executing | 0.000009 | 
end | 0.000003 | 

query end | 0.000002 | 
freeing items | 0.000011 | 
storing result in query cache | 0.000006 | 
logging slow query | 0.000002 | 


二 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 +----------- 十 


14 rows in 


set (0.01 sec) 


mysql> SHOW PROFILE CPU FOR QUERY 1; 


如 上 介绍 了 SHOW SESSION STATUS 及 SHOW PROFILE 命 令 ， 笔 者 很 少 使 用 它们 ， 一 般 来 说 ， 使 用 SHOW GLOBAL STATUS 命 令 检查 状态 变量 即 可 。 


5.MySQL 实 例 的 数据 增长 


我 们 需要 获取 MySQL 实 例 的 数据 增长 情况 ， 以 便 提前 进行 扩容 ，MySQL 的 information_schema 库 记录 了 各 个 库 、 表 的 数据 量 大 小 ， 可 以 据 此 统计 实例 的 数据 增长 情况 ， 以 及 各 个 库 ， 甚 至 各 个 表 的 数 
发 人 员 通 过 判断 表 的 数据 量 增 长 趋势 及 数据 库 的 操作 频率 ， 大 致 判断 应 用 的 数据 库 流量 的 特点 ， 从 而 更 有 针对 性 地 进行 数据 库 的 应 用 优化 。 


据 增 长 情况 ， 研 


注意 的 


一 点 是 ，SHOW TABLE STATUS 命令 可 以 查看 表 的 很 多 信息 ， 但 InnoDB 引 擎 表 的 统计 信息 可 能 不 是 很 准确 ， 尤 其 是 在 表 特 别 大 的 时 候 。 


当 我 们 使 


数据 表 的 大 小 可 根据 information_schema.tables 表 中 Data_length 和 Index_length 列 的 和 大 致 统计 。 


共享 表 空 间 的 时 候 ， 有 时 希望 能 够 合理 分 配 每 个 数据 文件 的 大 小 ， 还 可 能 需要 知道 数据 文件 的 空闲 空间 还 有 多 少 。 这 时 ， 可 以 启动 Tablespace Monitor， 通 过 日 志 输 出 收集 表 空间 的 信息 ， 


通过 计算 使 用 的 


块 和 空闲 的 块 来 判断 表 空间 的 空闲 空间 还 有 多 少 ， 以 及 数据 增长 的 趋势 。 但 此 种 方式 不 易 操 作 ， 分 析 也 较 复杂 ， 所 以 更 合适 的 办 法 是 简单 查询 MySQL 自 带 的 统计 表 ， 据 此 进行 估算 。 


在 实际 生产 环境 中 ， 我 们 可 以 定期 查询 INFORMATION_SCHEMA 信 息 数 据 库 ， 把 收集 的 数据 库 大 小 插入 监控 数据 库 ， 在 收集 的 信息 的 基础 上 进行 空间 趋势 分 析 。 


下 面 的 查询 


将 检查 数据 库 argls 下 


HH 


的 所 有 基础 表 的 信息 。 


SELECT TABLE SCHEMA, TABLE NAMP, TABLE TYPE,ENGINE,TABLE ROWS ,DATA LENGTH,INDEX LENGTH,DATA FREE FROM tables WHERE TABLE SCHEMA="'argls' AND TABLE TYPE='BASE TABLE'; 


下 面 的 查询 将 统计 数据 库 argls 的 大 小 。 


SELECT SUM(DATA LENGTH),SUM(INDEX LENGTH),SUM(DATA FREE) FROM tables WHERE TABLE SCHEMA='argls' AND TABLE TYPE="'BASE TABLE'; 
SUM (DATA 1 LENGTH) | SUM (INDEX ] LENGTH) | SUM (DATA FREE) 
| 35503304092 | 5593716736 | 42949672960 | 


关于 DATA_FREE 列 ,没有 太 大 的 参考 意义 此 处 不 做 讲解 。 


11.2.3 ”MySQL 需要 关注 的 参数 及 状态 变量 


以 下 的 一 些 状态 变量 ， 是 监控 系统 需要 着 重 关注 的 ， 由 于 篇 幅 所 限 ， 这 里 并 没有 列 出 所 有 值得 关注 的 状态 变量 。 


(1) open files limit 


操作 系统 允许 mysqld 打 开 的 文件 数量 。 这 个 值 可 以 设置 得 


Vi /etc/security/limits.conf 
* -~ nofile 50000 


(2) max_connect_errors 


此 值 应 设置 得 比较 大 ， 如 大 于 5000， 以 避免 因为 连接 出 错 而 超过 出 错 冰 值 ， 导 致 MySQL 阻 止 该 


(3) max_connections 


人 允许 并 行 的 客户 端 连接 数目 。 默 认 值 100 太 小 ， 一 般 会 不 够 用 。 


生产 环境 中 建议 设置 为 2000~ 5000。 注 意 ， 对 于 32 位 的 MySQL 由 于 有 内 存 限制 ， 连 接 数 不 能 过 大 (对 


(4) max_used_connections 


E 议 小 于 800) ， 否 则 可 能 会 


MySQL Server 启 动 后 曾经 到 达 的 最 大 连接 数 。 如 果 该 值 达到 max_connections， 那 么 某 个 时 刻 存在 突然 的 高 峰 连 接 时 ， 可 能 会 有 性 能 问题 。 


(5) threads connected 


当前 打开 的 连接 数量 。 这 个 值 不 能 超过 设置 的 max_connections*80%。 需 要 注意 及 时 调整 max_connections 的 值 。 一 


(6) aborted connects 


“ 客户 端 程序 在 退出 之 前 未 调用 mysql_close0 。 


' 客户 端的 空闲 时 间 超过 了 wait_timeout 或 intetactive_timeout 秒 ， 未 向 服务 器 发 出 任何 请 求 。 


“ 客户 端 在 数据 传输 中 途 突然 结束 。 


(7) Aborted clients 


由 于 客户 端 没有 正确 关闭 连接 导致 客户 端 终止 而 中 断 的 连接 数 。 


出 现下 述 情况 时 ， 服 务 器 将 增加 “Aborted _clients” (放弃 客户 端 ) 的 状态 变量 


从 分 里。 


. 客户 端 不 具有 连接 至 数据 库 的 权限 。 
.客户 端 采用 了 不 正确 的 密码 。 
. 连接 信息 包含 不 正确 的 信息 。 


“ 获取 连接 信息 包 的 时 间 超 过 了 connect_timeout 秒 。 


我 们 可 以 使 用 如 下 的 命令 发 现 异 常 。 


mysqladmin -uroot -p -S /path/to/tmp//3306/mysql.sock ext | grep Rbort 


也 可 以 使 用 tcpdump 来 判断 是 什么 原因 导致 了 异常 。 


tcpdump -s 1500 -w tcp.out Port 3306 
strings tcpdump .out 


(8) thread cache size 


服务 器 应 缓存 多 少 线程 以 便 重新 使 用 ? 当 客 
空 了 时 才 会 创建 新 线程 。 如 果 新 连接 很 多 ， 则 可 以 增加 该 变量 以 提高 性 能 


由 于 线程 可 以 缓存 ， 所 以 线程 持 有 的 内 存 不 会 被 轻易 释放 。 


(9) Threads created 


试图 连接 到 MySQL 服 务 器 而 失败 的 连接 数 。 正 常情 况 下 ， 该 值 不 会 持续 增加 ， 出 现 连接 失败 的 原因 主要 有 如 下 几 点 


创建 用 来 处 理 连 接 的 线程 数 。 应 该 监视 Threads_created 的 增 量 ， 如 果 较 多 ， 则 需要 增加 thread_cache_size 的 值 。 


以 上 对 thread_cache_size 的 设置 在 高 并 发 的 时 候 会 很 有 效 。 高 并 发 时 大 量 并 发 短 连接 对 CPU 的 冲击 不 容 忽 视 。 


(10) threads running 


指 同时 运行 的 线程 数目 。 这 个 值 一 般 不 会 大 于 逻辑 CPU 的 个 数 ， 如 果 经 常 有 过 多 的 线程 同时 运 
能 问题 之 前 ， 会 有 一 个 上 升 的 趋势 ， 此 时 收集 的 性 能 信息 ， 将 有 助 于 我 们 诊断 复杂 的 性 能 问题 。 


(11) slow launch threads 


那么 可 能 就 意味 着 有 性 能 问 


题 。 


这 


个 


旦 连接 数 超过 了 max_connections， 就 会 出 现 客户 


得 比较 大 ， 比 如 50000， 最 好 在 系统 初始 化 安装 时 就 设置 了 一 个 较 大 的 值 。 可 修改 文件 /etc/security/limits.conf 来 实现 ， 


机 和 连接。 如 被 阻塞 ， 则 须 手动 执行 flush-hosts 进 行 复位 。 


由 于 连接 过 多 ， 造 成 MySQL 实 例 衣 溃 。 


ot 
|E 
旦 


命令 如 下 。 


连接 不 上 的 错误 。 


指标 很 本 


要 ， 


往 


户 端 断 开 连 接 时 ， 如 果 线 程 少 于 thread_cache_size， 则 客户 端的 线程 将 被 放 入 缓存 。 如 果 有 新 连接 请 求 分 配 线程 则 可 以 从 缓存 中 重新 利 


往 表明 了 一 个 系统 的 繁忙 程度 ， 


如 果 这 个 值 比较 大 ， 则 意味 着 创建 线程 太 慢 了 ， 可 能 是 系统 出 现 了 性 能 问题 ， 存 在 资源 瓶 巴 ， 从 而 导致 操作 系统 没有 安排 足够 的 CPU 时 间 给 新 创建 的 线程 。 


(12) query cache size 


为 缓存 查询 结果 分 配 的 内 存 大 小 。 一 般 设置 为 256MB。 注 意 不 要 设置 得 太 大 。 


线程 ， 只 有 当 缓 存 


。 如 果 是 大 量 并 发 的 短 连 接 ， 则 可 能 会 因为 thread_cache_size 不 够 而 导致 性 能 问题 。 生 产 环境 中 一 般 将 其 设置 为 100~200。 


它 在 系统 爆发 性 


可 监控 查询 缓存 命中 率 : Qcache hits/(Qcache _hits+Com select)。 


更 改 这 个 值 ， 会 清空 所 有 的 缓存 结果 集 ， 对 于 非常 繁忙 的 系统 ， 可 能 会 很 耗 时 ， 导 致 服务 停顿 ， 因 为 MySQL 在 删除 所 有 的 缓存 查询 时 是 逐个 进行 的 。 


(13) Qcache lowmem prunes 


该 变量 记录 了 由 于 查询 缓存 出 现 内 存 不 足 ， 而 需要 从 缓存 中 删除 的 查询 数量 ， 可 通过 监控 Qcache lowmem_prunes 的 增 量 ， 来 衡量 是 否 需要 增 大 query_cache_size。 


Qcache lowmem_prunes 状 态 变量 提供 的 信息 能 够 帮助 你 调整 查询 缓存 的 大 小 。 它 可 计算 为 了 缓存 新 的 查询 而 从 查询 缓存 区 中 移出 到 自由 内 存 中 的 查询 数目 。 查 询 缓存 区 使 用 最 近 最 少 使 用 (LRU) 


策略 来 确定 哪些 查询 需要 从 缓存 区 中 移出 。 


小 。 


(14) InnoDB_buffer pool_ wait free 


一 般 情况 下 ， 是 通过 后 台 向 InnoDB 缓 冲 池 中 写 入 数据 的 。 但 是 ， 如 果 需 要 读 或 创建 页 ， 并 且 没有 干净 的 页 可 用 ， 那 么 它 还 需要 先 等 待 页 面 清空 。 如 果 已 经 适当 设置 了 缓冲 池 的 大 小 ， 那 么 该 值 应 该 会 很 


(15) Slow_queries 
查询 时 间 超 过 long_query time 秒 的 查询 个 数 。 应 该 监控 此 变量 的 增 量变 化 ， 一 般 1 秒 内 不 要 超过 5~ 10 个 ， 和 否则 可 能 是 有 性 能 问题 。 


(16) select full join 


没有 使 用 索引 的 连接 数量 。 如 果 该 值 较 大 ， 则 应 该 仔细 检查 一 下 表 的 索引 。 


(17) Created tmp tables 
创建 内 存 临 时 表 的 数量 ， 如 果 Created_tmp_disk_tables 比 较 大 ， 则 应 该 考虑 增加 tmp_table_size 的 大 小 。 


名 注意 应 该 将 tmp_table_size 和 max_heap_table_size 简 单调 整 到 大 小 一 样 。32MB 一 般 足 够 了 。 对 这 两 个 参数 的 控制 通常 基于 内 存 引 擎 的 临时 表 可 以 增长 的 阅 值 ， 若 超过 了 这 个 阅 值 ， 就 会 转化 成 On-disk 


MyISAM 表 。 


(18) Created tmp disk tables 


服务 器 执行 语句 时 在 硬盘 上 自动 创建 的 临时 表 的 数量 。 


(19) Bytes received 和 Bytes_sent 


可 以 用 来 监控 MySQL 的 流量 。 


(20) key _ buffer size 


MyISAM 索 引 缓冲 ， 实 际 用 到 多 少 就 分 配 多 少 。 不 一 定 需要 分 配 很 大 的 空间 ， 可 参考 实际 观察 到 的 值 ， 不 要 大 于 实际 值 。 如 下 命令 可 用 于 评估 索引 空间 的 大 小 。 


注 ， 


SELECT SUM(INDEX LENGTH) FROM INFORMATION SCHEMA.TABLES WHERE ENGINE='MYISRAM' 7 


或 者 使 用 操作 系统 下 的 命令 du 进行 统计 。 


$ du -sch ‘find /path/to/mysql/data/directory/ -name "* .MYI' 


如 下 公式 将 计算 访问 Key 的 命中 率 : 100-((Key_blocks_ unused*key cache_block _size)*100V/key_buffer_size)， 但 是 ， 该 值 没有 什么 实际 意义 ， 相 对 而 言 ，key_reads 更 有 实际 意义 ， 因 此 更 值得 关 
如 下 : 


$ mysqladmin extended-status -r -i 10 | grep Key reads 


不 要 把 key_buffer_size 设 置 为 0， 至 少 也 应 设置 为 一 个 较 小 的 值 ， 比 如 32MB 或 64MB， 因 为 MySQL 的 一 些 内 部 操作 需要 用 到 MylSAM 引 擎 ， 如 临时 表 。 
(21) Open tables 

当前 打开 的 表 的 数量 。 

(22) Opened tables 


已 经 打开 的 表 的 数量 。 


查看 Open_tables 及 Opened tables 的 增 量 时 ， 如 果 Opened tables 的 增 量 比较 大 ， 那 么 可 能 table open_cache (或 者 table_cache) 不 够 用 了 。 如 果 Open _tables 对 比 table_cache_size 并 不 大 ,但 


Opened tables 还 在 持续 增长 ， 那 么 也 可 能 是 显 式 临 时 表 被 不 断 打开 而 导致 的 。 
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(23) table open_cache (table cache 5.1.3 之 前 的 参数 名 ) 


默认 的 设置 太 小 了 ， 生 产 环境 中 应 该 将 其 设置 得 足够 大 ， 数 干 到 一 万 是 比较 合理 的 值 。 
检查 Opened tables status 变 量 ， 如 果 该 值 比较 大 ， 而 我 们 不 经 常 运行 FLUSH TABLES 命 令 ， 那 么 应 该 增加 table_ open_cache 的 变量 值 。 


(24) table definition cache 


一 般 可 以 将 其 设置 为 足够 高 的 值 来 缓存 表 定义 ， 比 如 4096， 这 并 不 会 耗费 什么 资源 。 默 认 的 256 太 小 了 。 


其 他 一 些 反 应 数据 库 访问 请 求 、 读 写 数据 量 的 状态 变量 ， 这 里 将 不 再 歼 述 。 


.3 数据库 监 控 的 实现 


11.3.1 Nagios 


使 用 Nagios 对 数据 库 进 行 监控 的 思路 与 之 前 讲述 的 心跳 表 大 同 小 异 ， 这 里 将 简要 介绍 下 其 实现 思路 。 


1) 监控 主 库 的 可 用 性 。 可 以 创建 一 个 监控 表 监控 主 库 的 可 用 性 ， 监 控 表 有 时 间 戳 字段 。Nagios 每 分 钟 更 新 监控 表 的 数据 ， 以 测试 主 库 可 用 性 ， 如 果 连 续 多 次 失败 ， 就 判断 为 失败 ， 并 发 送 短信 邮件 报 


趴 


2) 监控 复制 。 定 期 检测 ， 比 如 每 隔 5 分 钟 ， 就 读 取 从 库 的 监控 表 最 近 的 时 间 记 录 ， 判 断 清 后 多 少 秒 。 


监控 账号 可 以 限制 资源 使 用 ， 示 例如 下 。 


GRANT SELECT,UPDATE ON db _ name.* TO monitor user@'10.%' IDENTIFIED BY 'xxxxxxxxxxxxX' WITH MAX CONNECTIONS PER HOUR 360 MAX USER CONNECTIONS 3 MAX QUERIES PER HOUR 720 MAX UPDA 


11.3.2 swatch 


可 以 使 用 swatch 监 控 服务 器 日 志和 数据 库 日 志 ， 它 可 以 实时 监控 日 志 ， 从 而 节省 很 多 编写 监控 脚本 的 时 间 。 


下 面 简单 介绍 下 swatch 的 安装 和 使 用 方式 。 


swatch 需 要 用 到 Perl 5.10， 如 果 你 的 系统 是 Perl5.8， 那 么 建议 将 其 升级 到 5.10。 


Per| 升 级 到 5.10 的 步骤 如 下 。 


perl -v 

cd 

mkdir pkgs 

cd pkgs 

wget http://www.cpan.org/src/perl-5.10.1.tar.gz 
tar zxvf perl-5.10.1.tar.gz 

cd Per1-5.10.1 

./Configure -des 

make 

make install 

cd /usr/bin;mv perl perl.bak;ln -s /usr/local/bin/perl . 


通过 以 下 命令 安装 swatch 所 需要 的 模块 。 


cpan> install Date::Calc Date::Format Date::Manip File::Tail 


swatch 的 安装 方法 如 下 。 


下 载 swatch-3.2.3.tar.gz 到 本 机 。 


tar ZXVf swatch-3.2.3.tar.gz 

cd swatch-3.2.3 

perl Makefile.PL 

make 

make install 

cpan > install Proc::ProcessTable 


这 个 步骤 如 果 没 有 安装 成 功 ， 则 make test 会 失败 ， 也 可 以 手动 执行 编译 安装 ， 示 例如 下 。 


cd /root/.cpan/build/Proc-ProcessTable-0.45-0J6Reg 
perl Makefile.PL 

make 

make install 


我 们 可 以 让 swatch 随 系统 启动 ， 或 者 在 root 下 添加 守护 ， 如 下 。 


crontab -1 

## monitor log files using Swatch 

*/2 * *** /root/crontab/sw.sh > /dev/null 2>&1 

cat sw.sh 

#!/bin/bash 

#source /root/.bash profile 

#For monitoring log files ,looking for trouble. 
#20090311 

source $HOME/.bash profile 

export PATH=/usr/local/bin:$PATH 

host_name= hostname 

exist_count= Ps -ef |grep "swatch" |grep -V grep |wc -1 
echo "$exist count"™ 

if [ "$exist count" -eq 0 ]; then 

echo "starting swatch" 

#/usr/bin/swatch --config-file=/etc/swatch.conf -~-tail-file=/var/log/messages & 
Swatch -~-config-file=/etc/swatch.conf \ 
--tail-prog=/usr/bin/tail \ 


--tail-args '--follow=name --lines=1' \ 
--tail-file="/var/log/messages /usr/local/mysql/data/ “hostname ` .err" \ 
—-daemon 

echo "started swatch" 

和 


swatch 并 不 知道 如 何 处 理 异 常 日 志 ， 所 有 的 规则 都 是 在 日 常 维护 工作 中 不 断 积累 下 来 的 ， 以 下 提供 的 是 笔者 曾经 使 用 过 的 一 份 配置 文件 。 


swatch.conf 


突 提 提 提 寺村 提 坟 提 村 失 坟 持 持 提 提 村 提 翰 提 提 ## 入 Simple example Start 提 提 提 林 提 间 间 打 提 间 间 打 提 林 间 打 提 间 间 打 提 间 间 并 

# watchfor /authentication failure|other message you want to be alerted/ # 可 使 用 正则 表达 式 捕 捉 日 志 内 的 警告 错误 信息 
# threshold track by="foo", type=limit, count=2, seconds=300 # 若 在 300s 之 内 捕捉 到 了 信息 ， 则 执行 动作 ,但 最 多 只 能 执行 2 次 ,会 忽略 300s 内 的 相同 信息 
# threshold track by="foo", type=threshold, count=2, seconds=300 # 若 在 300s 之 内 捕捉 到 2 次 信息 ， 则 执行 动作 ,然后 重新 计时 
# mail addresses=usernamel\@ooea.com:abcd\@ooea.com, subject="SSH:\ Invalid\ User\ ",when=1-6:8-17 

# 执 行动 作 ， 发 送 邮 件 , 可 使 用 when 选 项 指定 某 个 时 间 段 才 可 执行 动作 ，when=day_of_week:hour of day. 

# exec "command" 

# 执 行动 作 ， 执 行 命令 ，The command may contain variables which are substituted with fields from the matched line. 
# perlcode [depth] arbitrary Perl code :可 嵌入 Per1 代 码 。 

非 拓 提 提 寺 挂失 提 提 扩 提 提 提 提 提 提 井 提 提 ## 提 ### 入 Simple example Ena 提 # 提 提 提 丰 提 提 提 提 提 提 拓 大 折 提 折 划 折 失 扩 失 提 扩 失 

# This is Swatch configureration file. Usage: swatch -c=/etc/swatch.conf -t=/var/log/messages 

# Added by garychen on 20070507 

perlcode my $hostname= hostname; 

watchfor /kernel BUG/ 


threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Error 
###exec "" 

watchfor /ERROR/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Error 
###exec "" 

watchfor /InnoDB: Warning/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname MySQL Error " 
###exec "" 

watchfor /ORA-/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\Q@ooea.com:username2\@ooea.com, subject="$hostname Oracle Error 
###exec "" 

#watchfor /EXT3-fs error/ 

watchfor /error/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname system Error 
###exec "" 

watchfor /Can't connect to localhost/ 

threshold type=limit, count=1, seconds=900 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Memcached Error 
#exec "" 

#watchfor /(.*PHP Warning.*)/ 

# threshold type=threshold, count=10, seconds=900 

jmail addresses=usernamel\@ooea.com:username2\Q@ooea.com, subject="$hostname php Error 
# exec "echo $1 >> /root/crontab/log/error_ swatch.1og" 

watchfor /\[alert\]/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Nginx Alert" 
#exec "" 

#watchfor /(.*\[error\] .*)/ 

# threshold type=threshold, count=10, seconds=900 

#mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Nginx Error™" 
# exec "echo $1 >> /root/crontab/log/error_ swatch.1og" 

watchfor /ip conntrack: table full/ 

threshold type=limit, count=1, seconds=60 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname System Error” 
#exec "echo $1 >> /root/crontab/log/error swatch.1log" 

#exec "/root/crontab/modify sysctl.sh" 

watchfor /ALERT/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname System Error™" 


watchfor /worker process \d* exited on signal 9/ 

threshold type=limit, count=1, seconds=60 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname Nginx Error 
#exec "" 


watchfor /messages suppressed/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\Q@ooea.com:username2\@ooea.com, subject="$hostname Nginx Error 
#exec "" 

watchfor /mysql error()/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\Q@ooea.com:username2\@ooea.com, subject="$hostname MySQL Error 
#exec "" 

watchfor /Failed reading log event/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\Q@ooea.com:username2\@ooea.com, subject="$hostname MySQL Error 
#exec " 

watchfor /segfault at/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\Q@ooea.com:username2\@ooea.com, subject="$hostname TT Error 
#exec "" 

watchfor /Out of memory/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname System Error 
#exec "" 

watchfor /detected inconsistency/ 

threshold type=limit, count=1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname System Error 
#exec "" 

watchfor /response failed/ 

threshold type=limit, count=]1, seconds=300 

mail addresses=usernamel\@ooea.com:username2\@ooea.com, subject="$hostname System Error 
#exec "" 


Th Cacti 


Cacti 等 其 他 开源 监控 工具 一 般 都 提供 了 MySQL 插 件 ， 可 以 通过 添加 插件 方便 地 对 MySQL 进 行 监控 和 性 能 信息 收集 。Cacti 的 插件 可 以 参考 如 下 链接 : 


http://www.percona.com/software/percona-monitoring-plugins 


下 面 对 Cacti 输 出 的 一 些 图 形 做 一 些 简单 的 说 明 。 图 11-1 所 示 的 是 InnoDB 事 务 计数 


cz-db5 - InnoDB Active/Locked Transactions 


| 
Wed 12:00 Wed 16:00 Wed 20:00 Thu 00:;00 Thu 04:00 Thu 08:00 


From 2010/07/14 10:46:55 To 2010/07/15 10:46:55 


已 NN 上书 器 


口 Active Transactions Cur: 1.0 AVY 过 < Max: 10.0 
国 Locked Transactlons Cur: 1.0 AVg : 1.0 Max: 1.0 


图 11-1 InnoDB 事 务 计数 图 


图 11-1 显 示 了 事务 的 计数 情况 。 一 个 活动 的 事务 是 指 这 个 事务 当前 的 状态 是 打开 的 ， 还 没有 关闭 ， 也 就 是 说 ， 在 BEGINhttp://www.hzcourse.com/resource/readBook? 


path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/.…COMMIT 之 间 ; 一 个 正在 运行 的 查询 也 是 一 个 活动 的 事务 (MySQL 默认 配置 为 事务 自动 提交 ， 所 以 每 个 查询 都 被 当 作 一 个 单 
独 的 事务 ) ; 一 个 锁定 的 事务 是 指 处 于 LOCK WAIT 状 态 的 事务 ， 通 常 是 在 等 待 一 个 行 锁 ， 但 也 可 能 是 在 等 待 表 锁 。 


图 11-2 所 示 的 是 InnoDB 缓 冲 池 页 的 变动 信息 。 


cz-db5 - InnoDB Buffer Pool Activity 


200 


100 


0 
Wed 12;00 Wed 16;00 Wed 20;00 Thu 00:00 Thu 04:00 Thu 08:00 
From 2010/07/14 10:41:54 To 2010/907/15 10:41:54 


国 Pages Created Cur: 224.7m Avg: 893.4m Max: 11.9 
口 Pages Read Cur: 14.0 Avg: 42.2 Max: 187.5 
加 Pages Written Cur: 9.3 Avg: 19.6 Max: 152.3 


图 11-2 ”InnoDB 缓 冲 池 页 变动 信息 


图 11-2 给 出 了 InnoDB 缓 冲 池 中 页 面 的 创建 、 读 取 和 写 入 的 频率 ， 可 以 作为 InnoDB 吞 吐 率 的 一 个 指标 。 如 果 发 现 图 中 有 突变 ， 那 么 应 该 警惕 。 


图 11-3 所 示 的 是 InnoDB 缓 冲 池 中 内 存 的 使 用 情况 。 


cz-db5 - InnoDB Buffer Pool 


Wed 12:00 Wed 16:;00 Wed 20:00 Thu 00:00 Thu 04:00 Thu 08:00 
From 20190/07/14 11:07:00 To 2010/07/15 11:07:00 


国 POOL Size Cur: 406 .2k 
国 Database Pages Cur: 398.8k Avg: 397.3k Max: 401.3k 
国 Free Pages Cur: 483.6m Avg: 318 .5m Max: 6.0 


国 Modified Pages Cur: 70.4k Avg: 60.8k Max: 87.9k 


图 11-3 InnoDB 缓 冲 池 中 内 存 的 使 用 情况 图 


图 11-3 显 示 了 InnoDB 缓 冲 池 的 一 些 基 本 信息 ， 各 项 的 含义 如 下 。 
“ Pool Size: InnoDB Buffer Pool 的 大 小 。 
Database Pages: 已 经 使 用 的 页 。 
. Frtee Pages: 自由 空间 。 


Modified Pages: 脏 数 据 所 占用 的 空间 。 


图 11-4 所 示 的 是 InnoDB Checkpoint Age 信 息 情 况 。 


图 11-4 所 展示 的 InnoDB Checkpoint Age， 等 同 于 还 没有 应 用 检查 点 操作 的 数据 字 节 数 ， 如 果 这 个 时 刻 实例 发 生 崩 演 ， 那 么 恢复 时 就 需要 应 用 图 中 所 示 的 这 么 多 日 志 量 。 如 果 这 个 值 接 近日 志文 件 的 合 
计 大 小 ， 那 么 可 能 你 还 需要 增 大 日 志文 件 。 


cz-db5 - InnoDB Checkpoint Age 


Wed 20:00 Thu 00:00 Thu 864:00 Thu 08:00 Thu 12:00 Thu 16:00 
From 2010/07/14 17:12:00 To 2010/07/15 17:12:00 


国 Uncheckpointed Bytes Cur: 139.4M Avg: 227.0M Max: 3.96 


图 11-4 InnoDB Checkpoint Age 


图 11-5 是 InnoDB I/O 信 息 图 。 


cz-db5 - InnoDB I/0 
120 
100 


i ae Uns 
Thu 16:00 Thu 20:609 Fri G0:00 Fri 04209 Fri 868:60 Fri 12200 
From 2010/607/15 14:07:17 To 2010/07/16 14:07:17 


国 File Reads CF 7 Avg: 22.4 Max: 191.1 
国 FiLe Writes Cur: 17.7 Avg: 25.0 Max: 93.2 
回 Log Writes Cur 3:4 Avg: 15.2 Max: 31:6 
File Fsyncs Cur: 14.0 Avg: 16.3 Max: 34.6 


图 11-5 InnoDB I/O 信 息 图 


图 11-5 展 示 了 InnoDB 1/O 的 统计 情况 ， 包 括 文件 读 写 、 日 志 写 和 Fsync() 调 用 。Fsync 是 一 项 成 本 昂贵 的 操作 ， 如 果 参 数 innodb_flush_log_at_trx_commi 的 值 设置 为 1， 那 么 在 图 11-5 中 可 能 会 看 到 很 


高 的 File Fsyncs 值 。 


图 11-6 是 InnoDB I/O 挂 起 信息 图 。 


图 11-6 中 应 该 没有 挂 起 的 /O 操 作 或 挂 起 操作 的 值 很 小 。 如 果 在 图 中 看 到 大 量 的 Pending 操 作 ， 那 么 我 们 可 能 需要 更 大 的 缓冲 池 ， 或 者 更 快 的 存储 。 


图 11-7 是 InnoDB 查 询 修改 记录 的 操作 图 。 


图 11-7 中 显示 了 InnoDB 每 秒 执行 SELECT、INSERT、UPDATE、DELETE 操 作 的 行 数 。 从 图 中 可 以 看 到 凌晨 0 点 有 一 个 高 峰 。 


图 11-8 是 InnoDB 事 务 图 。 


cz-db5 - InnoDB I/0 Pending 


号 hh WU 睛 
SS 9 © 四 局 旺 


a 9 NWI A 1 而 二 A WV | | | 外 i4l a | WW 1 | iu 8 
Thu 16:00 Thu 20:00 Fri 00:00 Fri 04:00 Fri 08:00 Fri 123106 


From 2010/07/15 14:17:22 To 2010/07/16 14:17:22 


国 Pending Alio Log Los cdr .0 AVg: 6.6 Max: 0.0 
国 Pending Alio Sync Ios Cur: 0.0 Avg: 909.09 Max: 0.8 
口 Pending Buf Pool FLushes Cur: 0.0 Avg: 27.2m Max: 988.9m 
国 Pending Chkp Writes Cur: 0:9 Avg: 906.9 Max: 086.8 
回 Pending Ibuf Aio Reads Cur: 0.9 Avg: 0.9 Max: 0.9 
国 Pending Log FLushes Cur: 8.3m Avg: 177.2m Max: 1.0 
国 Pending Log Writes Cur: 8.3m Avg: 200.3m Max: 1.0 
国 Pending Normal Alio Reads Cur: 0.0 Avg: 300.5m Max: 4.9 
国 Pending Normal Aio Writes Cur: 0.0 Avg: 23.0m Max: 502.8m 


图 11-6”InnoDB I/O 挂 起 图 


cz-db5 - InnoDB Row Operations 


69 k 

40 k 

20 k 
日 本 py Am A a pag a 
Thu 16:99 Thu 20:99 Fri 00:00 Fri 04:008 Fri 08:00 Fri 12:00 

From 2010/07/15 15:24:50 To 2010/07/16 15:24:50 

口 Rows Read Cur: 117.5 Avg: 890.8 Max: 63.3k 

国 Rows Deleted GUr: 63 “Avg: 22:9 Max: 110.6 

国 Rows Updated Cur: 4.8 Avg: 13.2 Max: 1.3k 

图 Rows Inserted Cur: 8.909 Avg: 25.3 Max: 112.7 


11-7 InnoDB 查 询 修 改 记录 操作 图 


cz-db5 - InnoDB Transactions 


120 
100 


二 1 
日 ed he TR NA ys 


Sun 12:;00 Sun 16:00 Sun 20:00 Mon 00:;00 Mon 04:00 Mon 98;00 
From 2010/07/18 10:24:36 To 2010/07/19 10:24:36 


国 Innodb Transactions Cur: 36.8 Avg: 29.6 Max: 57.5 

国 Current Transactions Cur: 4.0 Avg: 3.8 Max: 13.9 

国 History List EUrFS S32 "AV 34:3 Max: 102.6 

Read Views Gur: 1 ‘Avg: 14 Max:; 11;:9 
11-8 InnoDB 事 务 图 


图 11-8 中 的 参数 及 其 说 明 如 下 。 


“ InnoDB Transactions: 创建 的 事务 。 
* Current Transactions: 当前 事务 ， 不 管 处 于 何 种 状态 ， 包 括 active、lock wait、not statted 等 状态 。 


“ History List: 未 被 清理 的 事务 的 列表 长 度 ， 表 征 了 最 旧 的 事务 ， 这 些 事务 的 存在 可 能 是 因为 清理 的 速度 跟 不 上 事务 的 创建 频率 ， 也 可 能 是 因为 有 长 时 间 运 行 的 查询 事务 ， 为 了 维护 一 致 性 读 而 不 能 清 
理 旧 的 行 记录 版 本 。 


“ Read Views: 多 少 事务 有 一 致 性 快照 。 


图 11-9 是 InnoDB 连 接 图 。 


cz-db5 - MySQL Connections 


sun 16:00 Sun 20:00 Mon 00:00 Mon 04:00 Mon 08:00 Mon 12:00 
From 2010/07/18 12:05:38 To 2010/07/19 12:05:38 

国 Max Connections Cur: 300 .0 

口 Max Used Connections Cur: 301.0 

国 Aborted Clients Cur: 0.0 Avg: 347.2U Max: 11.1m 
口 Aborted Connects Cur: G6.0 Avg: 23.lu Max: 5.6m 
国 Threads Connected Cars 50 AM 6.3 Max: 17.9 
国 Connections CT 21 Avg: 25.5 Max: 52.3 


11-9 InnoDB 连 接 图 


应 关注 图 11-9 中 的 Aborted Clients 和 Connections，Aborted Clients 可 能 意味 着 连接 超时 退出 或 网 络 问题 、 账 号 验证 错误 、 程 序 异 常 中 断 等 情况 的 发 生 。 


图 11-10 是 MySQL 句 柄 计数 器 信息 图 。 


各 种 句柄 的 计数 ， 图 


cz-db5 - MySQL Handlers 


40 k 
30 k 
20 k 
10 k 
0 
Sun 16:00 Sun 20:00 Mon O00:00 
贺 Handler Write Cur: 
Handler Update Cur: 
加 HandLer Delete Cur: 
贺 Handler Read First Cur: 
国 Handler Read Key Cur: 
国 HandLer Read Next Cur: 
国 Handler Read Prev Cur: 
贺 Handler Read Rnd Cur 


DHandler Read Rnd Next Cur: 


么 该 值 会 增加 。 


图 


图 


11-11 是 一 个 网 络 传输 流量 统计 图 。 
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图 11-10 MySQL 句柄 计数 器 图 


m Avg: 


Mon 04:00 


27: 
11, 
20 , 


N PIN Ww 


Mon 98;00 Mon 12:00 
From 2010/07/18 13:32:26 To 2010/07/19 13:32:26 


11-10 中 的 Handeler Read Next 有 时 会 很 大 ， 表 示 可 能 有 索引 扫描 。Handler Read Next 指 按照 键 顺 序 读 取 下 一 行 的 请 求 数 。 如 果 使 


Max : 
Max ; 
Max : 
Max : 
Max ; 
Max:; 
Max: 
Max: 
Max: 


cz-db5 - MySQL Network Traffic 


tis:1 
1.2k 
108.1 
95 
934.0 
37 7k 
0.0 
Ld 
2.0k 


范围 约束 或 执行 索引 扫描 来 查询 索引 列 ， 那 


Sun 16:00 Sun 20:00 Mon QO0:00 


Mon 04:00 


Mon 08:00 


Mon 12:00 


From 2010/07/18 13:55:12 To 2010/97/19 13:55:12 


园 Bytes Sent Curs 23.1k ‘Avg: 
k Avg: 15.9k Max: 


回 ByteSs Received (Cur: 6.2 


11-12 是 MySQL 连 接 状 态 图 。 


图 11-11 网 络 传输 流量 统计 图 


55.8k Max: 184.7k 
59 .9k 


cz-db5 - MySQL Processlist 


20 


10 


my YY 


Sun 165:00 


pr od 00:00 Mon 4:60 Mon 06:6 ed 12:00 
From 2010/07/18 13:55:12 To 2010/07/19 13:55:12 


国 State Closing Tables Cur: nan Avg: nan Max: nan 
国 State Copying To Tmp Table Cur: nan Avg: nan Max: nan 
国 State End Cur: nan Avg: nan Max: nan 
国 State Freeing Items Cur: 1.0 AVvg: | Max: :| 
国 State Inlt ER 0 A Ma Maxs 1.4 
国 State Locked Cur: nan Avg: nan Max: nan 
国 State Login Cur: nan AVg : nan Max nan 
国 State Preparing Cur: 1.0 AVg ; 1.0 Max: 1.08 
State Reading From Net CUr: 4.0 Avg: 2.0 Max: 4.0 
国 State Sending Data WE 1 A 2 Max: 7.4 
国 State Sorting Result CUurs “Ed Avg: 1.0 Max: 1.0 
国 State Statistics Cur: 让 ,如 Avg; 注 .2 Max: 3.0 
国 State Updating CUPL Ed AVQE EE Wax: 20 
国 State Writing To Net Curs 9 Avg: 1.0 Max: 1.0 
国 State None Cur: 2.0 AVvg: ZF Max: 6.4 
园 State 0ther COUr: 50 AVg 51 Max: 8.0 


图 11-12 ”MySQL 连接 状态 图 


图 11-12 所 示 的 是 MySQL 连 接 各 种 状态 的 一 个 统计 。 在 大 部 分 情况 下 ， 你 应 该 能 看 到 很 少 的 State Sending Data， 对 于 图 形 突变 ， 则 需要 谨慎 探究 是 何 种 原因 所 导致 的 。 


图 11-13 是 不 同类 型 的 SELECT 查 询 图 。 


cz-db5 - MySQL Select Types 


100 
80 
60 
40 
20 


0 
sun 16:00 Sun 20:00 Mon 00:00 Mon 04:00 Mon 08:60 Mon 12:00 
From 2010/07/18 14:48:21 To 2010/07/19 14:48:21 


国 Select Full Join Curs .8 AYVg: 二: 光 Max: 0.0 
辆 Select FULL Range Join Cur: 0.0 Avg: 9.0 Max: 0.0 
国 Select Range Cur: 0.0 Avg: 19.9m Max 1,9 
国 Select Range Check Cur: 0.9 Avg: 0.0 Max 0.0 
国 SeLect Scan Cours IT7.3 Avg: 1 93:9 Max: 98.3 


图 11-13 SELECT 查询 图 


图 11-13 显 示 的 是 不 同类 型 的 SELECT 查询 ， 一 般 情况 下 Select Full Join 必 须 等 于 0， 需 要 注意 曲线 的 变化 ， 如 果 有 突变 ， 则 需要 探 明 原因 。 


图 11-14 是 MySQL 表 锁 信息 图 。 


cz-db5 - MySQL Table Locks 
400 


300 
200 
100 


0 
sun 16:00 Sun 20:00 Mon 00:00 Mon 04:;00 Mon 08:00 Mon 12:00 
From 2010/07/18 15:14:02 To 2010/07/19 15:14:02 


OTable Locks Immediate 


国 TabLe Locks Immediate Cur: 33.2 Avg: 62.1 Max: 358 .3 
国 Table Locks Waited Cur: 0.9 Avg: 0.6 Max: 90.0 
国 SLow Queries Cur: 2.8m Avg: 8.9m Max: 163.9m 


图 11-14 MySQL 表 锁 信 息 图 


对 于 InnoDB 来 说 ,一 般 不 用 关注 MySQL 表 锁 信 息 图 ， 如 果 有 较 高 的 Table Locks Waited， 那 么 可 能 是 由 MylSAM 表 引起 的 。 


图 11-15 是 MySQLI 临 时 对 象 图 。 


对 于 图 11-15， 需 要 关注 下 Created Tmp Disk Tables， 该 值 等 于 0 为 佳 ， 如 果 比 较 高 ， 比 如 大 于 5， 则 可 能 有 性 能 问题 。 


cz-db5 - MySQL Temporary Objects 


Sun 16:00 Sun 20:00 


DCreated Tmp Tables 
国 Created Tmp Tables 


国 Created Tmp Disk Tables 


国 Created Tmp Files 


11.4 ”数据 库 监控 的 可 视 化 


现实 工作 中 ， 我 们 不 会 经 常 去 查看 图 形 ， 特 别 是 在 有 了 很 多 图 形 的 
当时 发 生 了 什么 ? 有 没有 做 什么 变更 ， 从 而 快速 定位 问题 的 所 在 。 


Mon 00:00 


本 12:00 
From 2010/07/18 15:14:02 To 2010/07/19 15:14:02 


Mon 04:00 Mon 08:;00 


Cur: 25.06m Avg: 24.8m Max: 61.]1m 
Cur: 0.06 Avg: 0.0 Max: 0.0 
Cur: 22.2m Avg: 50.3m Max: 294.4m 


时 候 ， 更 多 的 情况 下 ， 我 们 会 接 到 报警 


图 11-15 MySQL 临时 对 象 图 


， 这 个 时 候 ， 才 会 去 看 图 形 ， 从 图 形 上 看 到 负载 情况 、 资 源 使 用 情况 有 了 变化 ， 然 后 再 去 确定 


网 


我 们 在 监控 数据 、 性 能 数据 时 往往 有 数据 可 视 化 的 需求 。 可 通过 


形 数 据 看 到 某 种 周期 性 的 变动 ， 比 如 每 小 时 的 波动 ， 可 能 是 有 某 些 定时 任务 ; 每 天 的 


波动 ， 可 能 和 用 户 集中 在 某 些 时 间 段 上 网 有 关 ; 


每 周 的 波动 ， 可 能 是 工作 日 访问 请 求 大 ， 非 工作 日 访问 请 求 少 ， 季 度 的 


波动 ， 可 能 是 每 个 季度 要 生成 一 些 报表 。 


监控 展示 数据 所 使 用 的 图 形 一 般 是 二 维 形式 的 ， 有 折线 图 、 散 点 


贺 


11.4.1 折线 图 


折线 
的 连续 数据 ， 


贺 


(line chart) 是 用 线段 将 各 数据 点 连接 起 来 的 


热 图 、 


条 形 图 


图 形 ， 它 以 折线 的 方式 显示 数据 的 变化 趋势 。 折 线 
因此 非常 适合 显示 在 相等 时 间 间隔 下 数据 变化 的 趋势 。 另 外 ， 在 折线 图 中 ， 数 据 是 递增 还 是 递 碱 、 增 减 的 速率 、 增 减 的 规律 (周期 性 、 螺 旋 性 等 ) 、 峰 值 等 特征 都 可 以 清晰 地 反映 出 来 。 所 


及 饼 图 等 ， 三 维 图 形 在 一 些 领域 也 有 应 用 。 以 下 将 介绍 几 种 常见 的 图 形 。 


图 的 特点 是 可 以 反映 


物 在 一 段 时 间 内 的 趋势 ， 它 可 以 显示 随时 间 (根据 常用 比例 设置 ) 而 变化 


以 ,折线 图 常用 来 分 析 数 据 随时 间 的 变化 趋势 ， 也 可 用 来 分 析 多 组 数据 随时 间 变 化 的 相互 作用 和 相互 影响 。 


折线 图 是 生产 环境 监控 系统 中 最 常 使 用 的 图 形 ， 图 


形 ， 


从 图 


11-16 中 ， 我 们 可 以 看 到 ， 在 22:06 分 ， 查 询 达到 峰值 ， 而 在 凌 


U 


11-16 所 示 的 就 是 一 个 折线 图 


的 案例 。 


晨 时 间 段 ， 查 询 量 就 很 小 。 


次 数 / 秒 


pr 


11.4.2 散 点 图 


散 点 图 


又 名 散布 图 


(scatter plot) 。 它 是 表示 两 个 变量 之 间 关 系 的 图 


更 新 次 数 : 2 268 | 


Wf 插入 次 数 : 1282 | 


， 又 称 相关 图 


图 11-16 折线 


示例 


， 是 以 一 个 变量 为 横 坐 标 ， 另 一 变量 为 纵 坐 标 ， 利 


散 点 (坐标 点 ) 的 分 布 形态 反映 变量 统计 关系 的 一 种 图 


散布 图 用 于 分 析 两 测定 值 之 间 的 相关 关系 ， 它 的 优点 是 能 通过 直观 醒目 的 图 形 方式 反映 变量 间 关 系 ， 以 便 决定 用 何 种 数学 表达 方式 来 模拟 变量 之 间 的 关系 。 散 点 图 不 仅 可 传递 变量 间 关 系 类 型 的 信息 ， 
也 能 反映 变量 间 关系 的 明确 程度 。 通 过 作 散 点 图 对 数据 的 相关 性 进行 直观 地 观察 ， 不 但 可 以 得 到 定性 的 结论 ， 而 且 还 可 以 剔除 异常 数据 ， 从 而 提高 用 计算 法 估算 的 准确 性 。 


图 11-17 所 示 的 就 是 一 个 散 点 图 。 


天 


证 
和 
村 


和 


17/11/10 12:00 
12/11/10 12:28 
12/11/10 12:57 
12/11/10 13:26 
12/11/10 13:55 
12/11/10 14:24 
12/11/10 14:52 
12/11/10 15:21 
12/11/10 15:50 
12/11/10 16:19 
12/11/10 16:48 


图 11-17 Web 访 问 日 志 散 点 图 


图 11-17 是 一 个 Web 访 问 日 志 的 散 点 图 ， 可 以 看 到 在 下 午 15 点 左右 有 一 个 响应 时 间 变 差 的 时 间 窗 口 。 一 般 情况 下 ， 页 面 的 访问 响应 可 分 为 两 类 ， 一 类 是 页 面 本 身 的 响应 就 比较 慢 ， 它 会 一 直 表现 得 很 
慢 ,而 另 一 类 是 页 面 在 高 峰 时 间 段 才 会 响应 变 慢 ， 这 往往 意味 着 系统 碰 到 了 某 些 资源 瓶颈 。 


散 点 图 存在 两 个 不 足 之 外 ， 一 是 如 果 点 非常 密集 ， 那 么 点 会 重 于 ， 相 互 之 间 很 难 区 分 ; 二 是 我 们 可 能 需要 收集 、 存 储 和 处 理 大 量 的 数据 。 


对 于 大 量 数据 ， 绘 图 的 成 本 会 较 高 ， 对 比 可 以 采用 对 日 志 进行 取样 的 方式 ， 仅 针对 取样 点 数据 绘图 ， 绘 制 的 图 仍然 能 够 反映 实际 的 响应 时 间 分 布 ， 比 如 ， 如 下 的 awk 脚本 ， 就 可 以 采样 1/3 的 数据 。 


cat access.log | awk '// { nt+; if ((n % 3) 一 0) { print $0 } }' > access.1og _ sampled.txt 


或 者 采用 其 他 扩展 性 更 好 的 绘图 方式 ， 比 如 热 图 。 


11.4.3 热 图 


热 图 (heat map) 的 原理 是 把 坐标 点 分 组 ， 每 个 分 组 的 区 域 都 称 为 bucket， 它 的 颜色 取决 于 在 这 个 bucket 里 元 素 的 数量 ， 通 过 颜色 变化 的 方式 来 表示 坐标 点 的 密集 程度 变化 ， 解 决 了 散 点 图 坐标 点 过 
于 密集 所 带 来 的 问题 ， 我 们 可 用 热 图 来 分 析 Web 服 务 器 响应 、 磁 盘 访 问 延 迟 等 指标 。 


出 


图 11-18 所 示 的 就 是 一 个 磁盘 I/O 响应 时 间 的 热 图 。 


2000us 
可 习 ET 3 
bl 加 而 二 g 5 
| 本 三 条 
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到 呈 时 
LE 本 本 所 Lo 
而 i 看 。 委 于 要 恒 于 汪 本 本 本 四 mm Ey EE Lid 
雪 而 号 可 暨 三 村 
Ous 
图 11-18 ”磁盘 1/O 〇 响应 时 间 热 图 
可 以 看 到 大 部 分 的 响应 时 间 都 在 2000us 以 下 ， 响 应 时 间 主要 集中 在 两 个 区 间 ， 即 深 红色 的 两 条 颜色 带 。 通 过 使 用 热 图 ， 我 们 可 以 描绘 大 量 数据 ， 并 且 使 用 渐变 的 色 带 来 直观 地 展示 数据 的 院 密 程度 或 频 


率 高 低 。 现 实 中 ， 热 图 应 用 在 很 多 领域 中 ， 比 如 记录 用 户 在 Web 页 面 内 鼠标 的 点 击 位 置 ， 记 录 足 球 运动 员 的 跑 位 情况 等 。 


热 图 的 不 足 之 处 是 ， 它 并 不 像 折线 图 、 条 形 图 、 饼 图 这 样 知名 ， 很 多 人 不 知道 有 这 种 表示 数据 的 方法 ， 用 户 还 需要 了 解 其 是 如 何 展示 数据 的 。 


其 他 图 形 就 不 一 一 举例 了 。 读 者 如 果 有 兴趣 ， 可 阅读 数据 可 视 化 的 相关 书籍 。 


@, \ 结 本 章 讲 述 了 MySQL 应 该 监控 记录 哪些 信息 及 如 何 记录 。 我 们 需要 具备 一 个 意识 ， 即 应 该 持续 监控 一 切 事情 ， 包 括 网 络 、 系 统 、 服 务 、 用 户 行为 等 ， 基 于 翔实 的 数据 ， 我 们 才能 持续 优化 架构 、 
辅助 决策 。 强 大 的 监控 系统 不 仅仅 是 为 DBA 服 务 的 ， 管 理 好 自己 的 数据 ， 友 好 地 展现 给 研发 、 测 试 、 运 营 、 架 构 等 各 个 团队 ， 也 为 他 们 提供 服务 才 是 监控 的 意义 所 在 。 


第 12 章 ”MySQL 复制 


本 章 将 为 读者 讲述 MySQL 的 复制 技术 ， 首 先 ， 介 绍 最 基础 的 主 从 复制 ， 它 是 其 他 所 有 复制 技术 的 基础 ， 接 着 再 为 读者 讲述 各 种 复制 架构 的 搭建 ， 最 后 ， 列 举 了 一 些 常见 的 复制 问题 及 处 理 方式 。 复 制 技 
术 是 大 部 分 MySQL 高 可 用 技术 的 基础 ， 熟 练 掌握 各 种 复制 架构 有 助 于 制定 适合 自己 公司 的 高 可 用 方案 ， 第 13 章 将 讲述 MySQL 的 迁移 、 升 级 、 备 份 和 恢复 ， 这 些 技能 同样 极 大 地 依赖 于 对 复制 架构 的 理解 。 


12.1 ”基础 知识 


12.1.1 ”原理 及 注意 事项 


MySQL 支 持 单 向 、 异 步 复 制 ， 复 制 过 程 中 一 个 服务 器 充当 主 服务 器 ， 而 一 个 或 多 个 其 他 服务 器 充当 从 服务 器 。 有 时 我 们 也 称 从 库 为 从 服务 器 或 从 实例 ， 意 义 上 大 致 是 类 似 的 ， 不 需要 进行 细致 的 区 分 。 


(1) 复制 的 基本 原理 


在 主 库 的 二 进 制 日 志 里 记录 了 对 数据 库 的 变更 ， 从 库 从 主 库 那 里 获取 日 志 ， 然 后 在 从 库 中 重 放 这 部 分 日 志 ， 从 而 实现 数据 的 同步 。 基 本 步骤 类 似 如 下 。 


1) 主 服务 器 将 更 新 写 入 二 进 制 日 志文 件 ， 并 维护 文件 的 一 个 索引 以 跟踪 日 志 循 环 。 


2) 从 库 复 制 主 库 的 二 进 制 日 志 事 件 到 本 地 的 中 继 日 志 (relay log) 。 


3) 从 库 重 放 中 继 日 志 。 


将 从 服务 器 设置 为 复制 主 服务 器 的 数据 后 ， 它 将 连接 主 服务 器 并 等 待 更 新 过 程 。 如 果 主 服务 器 失败 ， 或 者 从 服务 器 与 主 服务 器 之 间 失 去 了 连接 ， 那 么 从 服务 器 将 保持 定期 尝试 连接 ， 直 到 它 能 够 继续 侦 
听 更 新 为 止 。 由 --master-connect-retry 选 项 控制 重 试 间隔 ， 默 认 时 间 为 60s。 


如 果 你 想 要 设置 链 式 复制 服务 器 ， 那 么 从 服务 器 本 身 也 可 以 充当 主 服务 器 。 


MySQL 使 用 3 个 线程 来 执行 复制 功能 ， 其 中 1 个 在 主 服务 器 上 ， 另 两 个 在 从 服务 器 上 。 当 从 服务 器 发 出 START SLAVE 命 令 时 ， 从 服务 器 将 创建 一 个 |/O 线 程 ， 以 连接 主 服务 器 并 让 它 发 送 记 录 在 其 二 进 制 
日 志 中 的 语句 。 主 服务 器 可 创建 一 个 线程 将 二 进 制 日 志 中 的 内 容 发 送 到 从 服务 器 中 。 该 线程 可 以 识别 为 主 服务 器 上 SHOW PROCESSLIST 输 出 中 的 Binlog Dump 线 程 。 从 服务 器 IO 线程 读 取 主 服务 器 Binlog 
Dump 线 程 发 送 的 内 容 并 将 该 数据 复制 到 从 服务 器 数据 目录 中 的 本 地 文件 中 ， 即 中 继 日 志 。 第 3 个 线程 是 SQL 线程 ， 由 从 服务 器 创建 ， 用 于 读 取 中 继 日 志 并 执行 日 志 中 所 包含 的 更 新 。 


由 上 可 知 ， 这 样 读 取 和 执行 语句 将 被 分 成 两 个 独立 的 任务 。 每 个 从 服务 器 都 有 自己 的 MO 和 SQL 线程 。 即 使 SQL 线程 执行 得 很 慢 ， 远 远 落 后 于 主 库 ， 但 MO 线程 仍然 可 以 从 主 库 上 获取 所 有 二 进 制 日 志 的 
内 容 ， 这 样 就 可 以 允许 主 库 清空 二 进 制 日 志 了 ， 因 为 不 再 需要 等 待 从 库 来 读 取 二 进 制 日 志 的 内 容 。 


(2) 复制 的 用 途 


复制 有 很 多 用 途 ， 比 如 跨 IDC 备 份 数据 ， 使 用 读 写 分 离 架 构 扩 展 读 ， 在 从 库 上 进行 备份 ， 使 用 从 库 测试 数 据 库 版 本 升级 ， 高 可 用 自动 故障 郊 余 切换 等 。 生 产 中 使 用 最 广泛 的 用 途 无 疑 是 进行 数据 备份 ， 
在 备份 过 程 中 主 服务 器 可 以 继续 处 理 更 新 ， 并 在 主 库 不 能 提供 服务 的 情况 下 接管 服务 。 


(3) 复制 的 注意 事项 
“ 一 般 情况 下 ， 少 量 的 从 库 ， 对 于 主 库 来 说 没有 什么 开销 ， 但 是 如 果 部 署 了 很 多 从 库 ， 就 需要 考虑 从 库 对 主 库 的 影响 了 ， 网 络 带 宽 或 I/ 〇 可 能 都 会 存在 汪 颈 。 


“ 如 果 只 是 传送 最 新 的 二 进 制 日 志 到 从 库 ， 那 么 从 库 一 般 不 会 对 主 库 有 冲击 ， 但 如 果 由 于 某 种 原因 ， 需 要 读 取 高 并 发 主 库 上 旧 的 日 志 ， 那 就 可 能 会 带 来 严重 的 性 能 问题 ， 因 为 主 库 要 读 取 大 量 的 旧 晶 
志 


志 ， 而 这 些 日 志 没有 被 操作 系统 缓存 ， 因 此 将 导致 主 库 I/O 瓶 巴 ， 同 时 还 有 一 个 潜在 的 影响 ， 会 阻碍 主 库 事务 提交 ， 因 为 MYSQL 的 XA 事 务 有 其 特殊 性 ， 在 事务 日 志 提交 之 前 ， 需 要 确保 二 进 制 日 志 已 写 入 。 
“ 复制 架构 中 的 从 库 一 般 用 于 扩展 读 ， 对 于 扩展 写 没有 什么 用 处 ， 复 制 对 于 频繁 读 和 少量 写 的 系统 好 处 最 大 。 


回答 下 面 的 问题 应 该 能 够 帮助 你 确定 复制 是 否 和 在 多 大 程度 上 能 够 提高 系统 的 性 能 。 


1) 系统 上 的 读 写 比 例 是 什么 ? 

2) 如 果 减 少 读 取 操作 ， 一 个 服务 器 可 以 多 处 理 多 少 写 负载 ? 

3) 网 络 带宽 可 满足 多 少 从 服务 器 的 需求 ? 

:由 于 目前 MYSQL5.1、5.5 的 复制 是 单线 程 的 ， 所 以 复制 可 能 会 成 为 瓶颈 ， 建 议 使 用 SSD 来 突破 瓶颈 。 


“ 复制 的 架构 和 配置 应 尽量 保持 简单 。 


复制 有 一 些 限制 和 和 坑 ， 但 大 部 分 都 可 以 避免 ， 很 多 会 触发 问题 的 高 级 特性 普通 用 户 根本 用 不 着 。 所 以 保持 自身 的 数据 库 配 置 简单 是 最 好 的 规避 出 现 复制 问题 的 方法 。 比 如 ， 不 要 使 用 环 状 的 复制 架构 ， 
不 要 使 用 Blackhole 引 丈 来 实现 复制 ， 不 要 在 配置 文件 内 指定 复制 的 过 滤 。 建 议 生产 环 境 保持 简单 ， 所 有 主 从 都 是 完全 复制 过 去 ， 同 步 所 有 的 数据 和 权限 。 保 持 主 从 的 完全 一 致 ， 可 以 减少 很 多 不 必要 的 麻 


“ 建议 将 从 库 配 置 为 只 读 ， 因 为 应 用 程序 可 能 会 配置 错误 ， 对 从 库 进行 写 操作 ， 将 会 导致 数据 的 不 一 致 性 ， 甚 至 丢失 数据 。 


“ 互 为 主 从 的 环境 ， 一 定 要 保证 同一 时 刻 只 写 一 个 数据 库 。 


单 向 复制 是 健壮 性 最 强 的 复制 架构 ， 但 在 实际 中 ， 可 能 会 为 了 方便 切换 ， 往 往 是 互 为 主 从 的 环境 。 在 这 种 情况 下 ， 一 定 要 保证 同一 时 刻 只 写 一 个 数据 库 ， 以 防止 数据 库 同时 写 入 相同 的 键 值 ， 导 致 主键 
冲突 ， 复 制 失 败 。 有 些 人 使 用 双向 复制 ， 互 为 主 从 的 两 个 库 更 新 不 同 的 表 ， 认 为 这 样 可 以 加 速 复制 ， 但 实际 上 ， 双 向 复制 并 不 能 提高 什么 性 能 ， 服 务 器 仍然 要 做 同样 的 事情 ， 只 是 锁 的 竞争 更 少 些 ， 因 为 源 
于 另 一 个 服务 器 的 更 新 被 序列 化 了 ， 由 于 单线 程 复制 ， 可 能 还 会 导致 |//O 瓶 颈 问题 更 突出 。 


MySQL 复 制 目 前 不 支持 主 服务 器 和 从 服务 器 之 间 的 任何 锁定 协议 来 保证 分 布 式 ( 跨 服务 器 ) 更 新 的 原子 性 。 这 也 意味 着 ， 在 双向 复制 关系 中 ， 不 应 该 同时 写 入 主 主 配置 的 两 个 库 ， 除 非 你 确信 任何 顺序 
的 更 新 都 是 安全 的 ， 或 者 除非 你 在 客户 端 代码 中 知道 怎样 才能 避免 更 新 顺序 错误 。 互 为 主 从 的 复制 模式 ， 需 要 小 心 处 理 好 自 增 键 及 主键 的 冲突 ， 程 序 和 表 的 设计 应 确保 不 会 导致 键 冲 突 。 由 于 存在 很 多 约束 
和 风险 ， 所 以 ， 现 实 中 的 制 架 构 ， 我 们 一 般 采 用 的 是 Active-Passive 模 式 而 不 是 Active-Active 模 式 。 


主 从 架构 ， 如 果 从 库 太 多 ， 或 者 同时 有 很 多 从 库 要 求 传 输 日 志 ， 那 么 可 能 会 导致 主 库 负载 上 升 。 可 以 解决 的 方案 是 再 配置 一 个 从 库 ， 专 门 用 来 传递 日 志 给 其 他 从 库 。 


“ 对 于 判断 主 从 是 否 一 致 的 问题 ， 目 前 官方 并 没有 一 个 成 熟 的 解决 方案 ， 可 以 利用 第 三 方 的 工具 pt-table-checksum 进 行 判断 。 


12.1.2 ”常用 命令 


我 们 可 以 使 用 SHOW BINARY LOGS 查 看 当前 主 库 的 日 志 ， 在 从 库 上 执行 SHOW SLAVE STATUS\G 检 查 当 前 的 复制 状态 ， 在 主 库 上 执行 SHOW PROCESSLIST 显 示 当 前 连接 过 来 的 从 库 线程 ， 综 合 使 
如 上 命令 ， 我 们 可 以 大 概 判断 当前 的 复制 情况 。 


一 般配 置 主 从 的 大 致 步骤 具体 如 下 。 


1) 如 果 当 前 已 经 有 主 从 配置 了 ， 那 么 在 从 库 上 运行 命令 STOP SLAVE 以 停止 复制 。 


2) 在 从 库 上 运行 CHANGE MASTER 命 令 设 定 连 接 主 库 的 信息 ， 配 置 主 从 。 


3) 在 从 库 上 运行 START SLAVE 命 令 启动 同步 。 


以 下 我 们 开始 逐 项 介绍 一 些 重要 的 命令 。 


在 主 服 务 器 上 ，SHOW PROCESSLIST 的 输出 看 上 去 应 该 如 下 所 示 。 


mysql> SHOW PROCESSLIST\G 
六 闪 关 闪光 六 六 碳 交 六 交大 六 交大 大 次 六 六 闫 次 六 类 大 六 交大 了] 。 下 OU 六 炎 交 大 闪光 六 六 交 六 交 关 光 奖 六 大 交 六 六 交大 六 类 六 六 闪 
Id; 2 
User: root 
Host: localhost:32931 
db: NULL 
Command: Binlog Dump 
Time: 94 
State: Has sent all binlog to slave; waiting for binlog to 
be updated 
Info: NULL 


其 中 ， 线 程 2 是 一 个 连接 从 服务 器 的 复制 线程 。 该 信息 表示 所 有 主要 的 更 新 都 已 经 被 发 送 到 从 服务 器 上 了 ， 主 服务 器 正在 等 待 更 多 的 更 新 出 现 。 


在 从 服务 器 上 ，SHOW PROCESSLIST 的 输出 看 上 去 应 该 如 下 所 示 。 


mysql> SHOW PROCESSLIST\G 
尖 闪 次 六 交大 六 次 次 六 次 大 六 闪 交 六 次 类 六 次 大 六 次 六 六 次 关 了] 。 下 OUJ 兴 奖 次 六 次 内 六 交大 闪 次 六 六 次 六 六 交大 六 次 六 大 次 六 炎 闪 
Id: 10 
User: system user 
Host: 
db: NULL 
Command: Connect 
Time: 11 
State: Waiting for master to send event 
Info: NULL 
六 闪 关 闪光 闪 六 闪光 六 类 闫 六 交大 六 次 六 六 闪 关 六 交大 六 交大 2 。 下 OU 六 炎 交 大 闪光 六 六 交 闪 交 关 六 交 六 大 次 六 六 闪 大 六 关头 六 闪 
Tuas Ti 
User: system user 
Host: 


db: NULL 


Command: Connect 


Time: 11 
State: Has read all relay log; waiting for the slave I/O 
thread to update it 
Info: NULL 


该 信息 表示 线程 10 是 同 主 服务 器 通信 和 的 |/O 线 程 ， 线 程 11 是 处 理 保存 在 中 继 日 志 中 的 更 新 的 SQL 线 程 。 SHOW PROCESSLIST 运 行 时 ， 两 个 线程 均 是 空闲 的 ， 都 在 等 待 其 他 更 新 。 


请 注意 ，Time 列 的 值 可 以 显示 从 服务 器 比 主 服务 器 滞后 了 多 长 时 间 。 


1.SHOW MASTER STATUS、SHOW SLAVE STATUS 命令 解析 


(1) SHOW MASTER STATUS 


该 命令 用 于 提供 主 服务 器 二 进 制 日 志文 件 的 状态 信息 ， 它 需要 SUPER 或 REPLICATION CLIENT 权限 ， 举 例如 下 。 


mysql> show master status; 


二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 -一 -一 -一 -一 十 一- 一 一 一 -一 -一 -一 -一 -一 -一 -一 -一 十 一 一 一 一 一 -一 -一 -一 -一 -一 -一 -一 -一 -一 十 
| File | Position | Binlog Do DB | Binlog Ignore DB | 

十 =- 一 -一 一 一 一 一 -一 一 一 一 一 -一 一 一 一 一 -一 一- 叶 一 一 -一 一 一 一 一 一 一 一 一 十 一 -一 一 一 一 一 一 一 一 一 一 一 -一 一 一 -一 -一 十 一 一 一 一 一 一 一 -一 一 一 一 一 -一 一 一 -一 一 一 一 -一 十 
| mysql-bin.000360 | 310 | | 

4 一 一 一 一 一 一 一 一 一 十 -一 -一 -一 -一 -一 -一 十 一- 一 一 一 -一 -一 -一 -一 -一 一 -一 -一 十 一- 一 -一 -一 -一 -一 -一 -一 -一 -一 ----- 一 十 


以 上 命令 显示 了 当前 正在 写 入 的 二 进 制 文件 ， 以 及 当前 的 Position 。 


(2) SHOW SLAVE STATUS 


该 命令 用 于 提供 有 关 从 库 线程 的 关键 参数 的 信息 。 如 果 你 使 用 的 是 mysq| 客 户 端 发 布 此 语句 ， 则 可 以 使 用 一 个 \G 语 句 终止 符 来 获得 更 便于 阅读 的 竖 向 输出 版 面 。 SHOW SLAVE STATUSNG 的 输出 类 似 如 


下 : 


mysql> show slave status \G 
淆 闪光 闪光 大 突 交 光 大 突 交 光大 突 交 光大 次 交 光 关 奖 交 光大 次。 。 下 OU 交 尖 关内 闪光 闪 实 奖 尖 大 突 交 光大 突 交 类 大 实 交 类 大 实 交 类 闪 


Slave_IO State: Waiting for master to send event 
Master Host: 11.11.11.11 
Master User: replic user 
Master Port: 3306 
Connect Retry: 60 
Master Log File: mysql-bin.001672 
Read Master Log Pos: 315022991 
Relay Log File: relay-bin.005035 
Relay Log Pos: 315023136 
Relay Master Log File: mysql-bin.001672 
Slave IO Running: Yes 
Slave_SOL Running: Yes 
Replicate Do DB: 
Replicate Ignore DB: 
Replicate Do Table: 
Replicate Ignore Table: 
Replicate Wild Do Table: 


Replicate Wild Ignore Table ¥ 


Last Errno: 0 
Last Error: 
Skip Counter: 0 
Exec Master Log Pos: 315022991 
Relay Log Space: 315023328 
Until Condition: None 
Until Log File: 
Until Log Pos: 0 
Master SSL Allowed: No 
Master SSL CA File: 
Master SSL CA Path: 
Master SSL Cert: 
Master SSL Cipher: 
Master SSL Key: 
Seconds Behind Master: 0 


Master_ SSL Veri fy _Server Cert : No 


Last_IO Errno: 0 

Last_ IO Error: 
Last_SQL Frrno: 0 
Last_ SQL Error: 


1 row in set (0.00 sec) 


其 中 各 参数 及 说 明 如 下 。 


* Master_Host: 当前 的 主 服务 器 主机 。 


“Master_User: 被 用 于 连接 主 服务 器 的 当前 用 户 。 


* Master Port: 当前 的 主 服务 器 接口 。 


“Connect_Retry: --master-connect-retry 选 项 的 当前 值 。 


* Master_Log_File: I/O 〇 线程 当前 正在 读 取 的 主 服务 器 二 进 制 日 志文 件 的 名 称 。 


“ Read_Master Log_Pos: 在 当前 的 主 服务 器 二 进 制 日 志 中 ,I/O 〇 线程 已 经 读 取 的 位 置 。 


“ Relay_Log_File: SQL 线 程 当前 正在 读 取 和 执行 的 中 继 日 志文 件 的 名 称 。 


“ Relay_Log_Pos: 在 当前 的 中 继 日 志 中 ，SQL 线 程 已 经 读 取 和 执行 的 位 置 。 


“ Relay_Master_Log_File: 由 SQL 线 程 执 行 的 包含 多 个 近期 事件 的 主 服 务 器 二 进 制 日 志文 件 的 名 称 。 


“Slave_IO_Running: I/O 〇 线程 是 否 被 启动 并 成 功 地 连接 到 主 服务 器 上 。 


“ Slave_SQL_Running: SQL 线程 是 否 被 启动 。 


以 上 slave IO_Running 和 Slave_SQL_Running 在 正常 情况 下 应 该 均 为 Yes。 


* Replicate_Do_DB、 Replicate_Ignore_DB: 


使 


I 


--replicate-do-db 和 --replicate-ignore-db 选 项 指定 的 数据 库 清单 。 


Replicate Do Table、 Replicate lgnore Table、 Replicate Wild Do Table、 Replicate Wild lgnore Table: 


Last_Errno、Last_Error: 多 数 最 近 被 执行 的 查询 返回 的 错误 数量 和 错误 消息 。 错 误 数 量 为 0 并 且 消 息 为 空 字符 串 ， 则 意味 着 “没有 错误 


为 消息 被 显示 。 


“ Skip_Counter: 最 近 被 使 用 的 用 于 SQL_SLAVE_SKIP_COUNTER 的 值 。 


“了 Exec_Master Log_ Pos: 来 自主 服务 器 的 二 进 制 日 志 的 、 由 SQL 线程 执行 的 、 上 一 个 时 间 的 位 置 (Relay_Master Log File) 。 主 服务 器 的 二 进 制 日 志 中 的 (Relay_Master_ Log _File，Exec_Master_ Log Pos) 


对 应 于 中 继 日 志 中 的 (Relay_Log File，Relay_Log Pos) 。 


“ Relay_Log_Space: 所 有 原 有 的 中 继 日 志 结 合 起 来 的 总 大 小 。 


“Until_Condition、Until_Log_File、Until_Log_Pos: 在 START SLAVE 语 句 的 UNTIL 子 句 中 指定 的 值 。 


使 用 --replicate-do-table、--replicate-ignore-table、--replicate-wild-do-table 和 --replicate-wild-ignore_table 选 项 指定 的 表 清单 。 


”。 如 果 Last_Error 值 不 是 空 值 ， 它 也 会 在 从 库 的 错误 日 志 中 作 


“ Seconds_Behind_Master: 是 从 库 “落后 ”多 少 的 一 个 指示 。 一 般 是 基于 同一 集群 内 网 的 主 从 集群 ， 此 值 应 为 0。 本 字段 用 于 测量 从 库 SQL 线 程 和 从 库 I/O 线 程 之 间 的 时 间 差 距 ， 单 位 以 秒 计 。 


如 果 主 服务 器 和 从 库 之 间 的 网 络 连接 较 快 ， 则 从 库 的 MO 线 程 会 非常 接近 3 
程 经 常 能 赶 上 读 取 速 度 较 慢 的 从 库 I/O 线 程 ， 因 此 ，Seconds_Behind_Master 的 值 经 常 显示 为 0， 即 使 从 库 /O 线 程 落后 于 3 


服务 器 ， 所 以 本 字段 能 够 十 分 近似 地 指示 从 库 SQL 线 程 比 


由 于 根据 SHOW SLAVE STATUS\G 的 输出 估算 具体 的 主 从 差异 时 间 可 能 会 不 准 ， 异 常情 况 下 Seconds_Behind_Master 的 值 为 NULL, 或 者 显示 不 正常 ， 所 以 和 


个 心跳 表 ， 通 过 此 心跳 表 来 监控 主 从 之 间 的 时 间 差 异 。 


2.CHANGE MASTER 命 令 


这 个 命令 在 从 库 中 执行 ， 可 以 配置 所 要 连接 的 主 库 ， 以 及 从 哪里 开始 同步 。 


的 语法 如 下 。 


服务 器 落后 多 少 。 


如 果 网 络 较 慢 ， 则 这 种 指示 不 准确 ; 从 库 SQL 线 
服务 器 时 也 是 如 此 。 换 句 话说， 本 列 只 对 速度 快 的 网 络 有 


CHANGE MASTER TO 
MASTER HOST="11.11.11.11', 
MASTER PORT=port, 
MASTER_USER='replic user', 
MASTER PASSWORD='your password', 
MASTER LOG _ FILE='1og file name', 
MASTER_ LOG POS=position; 


我 们 可 以 在 正在 运行 中 的 数据 库 从 库 中 动态 修改 连接 主 库 的 信息 。 例 如 修改 复制 用 户 的 密码 。 


mysql> STOP SLAVE; -- if replication was running 
mysql> CHANGE MASTER TO MASTER PASSWORD='new3cret'; 
mysql> START SLAVE; -- if you want to restart replication 


没有 必要 指定 未 发 生 改 变 的 参数 (主机 、 接 口 、 用 户 等 ) 。 


` MASTER_HOST 和 MASTER_PORT 指 定 了 主 库 的 IP 和 PORT。 


: MASTER_LOG_FILE 和 MASTER_LOG_POS 指 定 了 主 库 的 二 进 制 日 志 的 名 称 和 位 置 。 


“MASTER_USER 和 MASTER_PASSWORD 指 定 了 复制 用 户 的 账号 和 密码 ， 将 使 用 这 个 账号 去 连接 主 库 ， 所 以 主 库 需 要 给 予 这 个 账号 REPLICATION SLAVE 的 权限 来 复制 数据 。 


CHANGE MASTER 会 删除 所 有 的 中 继 日 志文 件 并 启动 一 个 新 的 日 志 ， 除 非 您 指定 了 RELAY_LOG_FILE 或 RELAY_LOG_POS。 在 此 情况 下 ， 中 继 日 志 将 被 保持 。 


“ CHANGE MASTER TO 会 去 更 新 master.info 和 trelay-log.info 文 件 的 内 容 。 


3.START SLAVE 和 STOP SLAVE 命 令 


我 们 常用 的 START SLAVE 语 句 有 3 种 。 


(1) START SLAVE 不 带 任何 参数 


不 含 选项 的 START SLAVE 会 同时 启动 两 个 从 库 线程 。|/O 线 程 从 主 服 务 器 中 读 取 查询 ， 并 把 它们 存储 到 中 继 日 志 中 。SQL 线 程 读 取 中 继 日 志 并 执行 查询 。START SLAVE 要 求 SUPER 权 限 。 


12.2 ”配置 主 从 复制 


对 于 未 上 线 的 主机 ， 即 在 主 库 没 有 任何 写 入 的 情况 下 ， 可 以 采用 如 下 方式 配置 3 


1) 在 主 从 主机 上 部 署 好 MySQL， 并 在 主 库 上 启用 二 进 制 日 志 ， 注 意 主 从 server-id 必 须 不 一 样 ，server-id 的 设置 可 以 使 F 


EF 从 。 


IP 的 后 8 位 加 上 端 [ 


(port) 等 其 


他 标识 信息 ， 主 库 的 配置 文件 类 似 如 下 。 


[mysqld] 
log-bin=mysql-bin 
server-id=1 


2) 记录 主 库 的 日 志文 件 名 File 和 日 志文 件 Position， 命 令 如 下 。 


mysql> show master status; 


十 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 一 一 一 一 一 一 二 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| File | Position | Binlog Do DB | Binlog Ignore DB | 

二 -一 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 -一 -一 一 一 一 一 + 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 十 
| mysql-bin.000362 | 310 | | 

二 -一 一 一 一 一- 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 一 一 一 一 一 一 +-------------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 


3) 在 主 库 中 创建 复制 账号 ， 人 允许 从 库 来 访问 ， 命 令 如 下 。 


grant replication slave,replication client on *.* to replic user identified by "XXXXXXXXXXX 7 


E 产 环境 的 实际 监控 一 般 是 在 主 从 中 配置 一 


如 果 账 户 仅 用 于 复制 ， 那 么 replication slave 的 权限 就 足够 了 ， 但 在 本 地 查看 从 库 (slave server) 信息 ， 还 需要 replication client 权 限 。 


4) 从 库 编 辑 配 置 文件 ， 运 行 命令 ， 配 置 主 从 。 


编辑 从 库 的 配置 文件 。 


下 面 将 展示 一 个 从 库 的 配置 文件 示例 : 只 有 server-id 必 须 设置 ， 其 他 选项 是 可 选 的 ， 具 体 命令 如 下 。 


log bin = mysql-bin 
server id = 2 

relay 1og = /path to mysql log/mysql-relay-bin 
log slave updates = I 加 

read only = 1 


其 中 的 参数 及 其 说 明 如 下 。 


“ log_bin=mysql-bin: 建议 主 从 配置 一 样 的 名 字 ， 不 然 在 以 后 的 配置 中 ， 处 理 问题 会 复杂 很 多 。 


:log slave_updates=1: log slave_updates 决 定 了 是 否 将 从 主 库 接收 的 更 新 写 入 从 库 自 身 的 二 进 制 日 志 里 。 将 这 个 值 设置 为 1， 是 方便 以 后 以 将 这 个 从 库 提 升 为 主 库 后 ， 根 据 需 要 再 配置 一 个 从 库 ， 也 方便 
数据 恢复 。 


我 们 可 以 设想 如 下 的 场景 。 


如 果 主 从 复制 的 架构 ， 主 库 提供 服务 ， 从 库 每 天 凌晨 备份 。 


如 果 你 的 生产 环境 从 库 log_slave_updates 是 关闭 的 。 


此 时 你 需要 在 新 的 主 库 的 基础 上 再 制作 一 个 从 库 。 但 是 ， 请 注意 ， 你 不 能 用 从 库 的 备份 转 储 文件 (dump 文件 ) 来 做 从 库 ， 因 为 凌晨 备份 


那么 主 库 宕 机 后 不 能 启动 ， 你 需要 把 数据 库 流量 切换 到 从 库 
的 文件 从 凌晨 到 主 库 宕 机 这 个 时 间 段 的 日 志 并 没有 写 入 从 库 的 日 志 ， 如 果 你 使 用 这 个 转 储 文件 ， 将 会 丢失 很 多 数据 ， 那 么 你 需要 在 线 重新 导出 一 份 数据 来 制作 从 库 。 如 果 你 设置 了 log_slave_updates， 那 么 
从 库 的 日 志 里 就 包含 了 所 有 时 刻 的 数据 更 改 ， 你 就 可 以 使 用 从 库 凌 晨 的 备份 文件 在 其 他 机 器 上 直接 制作 从 库 了 。 


当然 ， 设 置 这 个 变量 也 有 弊端 。 如 更 大 的 MO 写 入 ， 不 容易 发 现 错误 等 。 


设置 了 log slave_updates 可 能 不 易 发 现 错误 ， 比 如 应 用 程序 误 写 从 库 时 ， 我 们 不 能 及 时 发 现 ， 因 为 我 们 可 能 会 以 为 这 是 正常 的 更 新 。 为 了 安全 ， 我 们 需要 在 从 库 上 设置 read_only 选 项 ， 设 置 了 
read_only=1 之 后 ， 将 只 有 SUPER 权 限 的 用 户 才 可 以 修改 数据 。 


在 从 库 上 执行 如 下 语句 ， 其 中 MASTER_LOG_FILE 和 MASTER_LOG_POS 是 第 二 个 步骤 记录 的 值 。 


mysql > 

CHANGE MASTER TO 

MASTER_ HOST="11.11.11.11', 

MASTER PORT=3306, 

MASTER USER=' replic user', 
MASTER_PASSWORD=' xxXXXxxxXxx' , 
MASTER LOG FILE=' mysql-bin.000362', 
MASTER LOG POS=310; 


OB 注意 千 万 不 要 使 用 在 配置 文件 里 指定 master_host、master_port 的 方式 ， 这 些 配置 只 在 第 一 次 启动 MySQL 时 才 生 效 。 


5) 在 从 库 上 执行 如 下 命令 启动 slave。 


mysql > start slave 


6) 在 从 库 上 确认 复制 正常 。 


mysql> SHOW SLAVE STATUS \G; 
Slave_IO Running: Yes 

Slave SQL Running: Yes 
Seconds Behind Master 0 


前 两 项 应 该 都 是 Yes。Seconds_Behind_Master 应 该 不 是 NULL。 


12.3 ”配置 主 主 复制 


配置 为 主 主 复制 ， 需 要 解决 的 主要 问题 是 自 增 键 /主键 冲突 。 


网 
党 


相同 的 自 增 列 值 。 


当 将 多 个 服务 器 配置 为 复制 主 服 务 器 时 ， 如 果 要 使 用 自 增 列 (AUTO_INCREMENT) ， 那 么 应 采取 特殊 的 步骤 以 防止 键 值 冲突 ， 否 则 插入 行 时 多 个 主 服务 器 会 试 


服务 器 变量 auto_increment_increment 和 auto_increment_offset 可 以 帮助 协调 多 主 服务 器 复制 和 自 增 列 。 


其 中 ，auto_increment increment 用 于 控制 自 增 列 值 增加 的 间隔 。auto_increment_offset 用 于 确定 自 增 列 值 的 起 点 。 


假设 有 两 台 主 机 A、B， 它 们 互 为 主 从 ， 那 么 配置 可 以 如 下 。 


A 主 机 : 


auto increment increment=3 
auto increment offset=1 


B 主 机 : 


auto increment increment=3 
auto increment offset=2 


我 们 还 需要 注意 ， 除 了 自 增 字 段 不 能 互相 冲突 之 外 ， 所 有 表 的 键 值 也 不 能 互相 冲突 ， 同 一 时 刻 的 操作 需要 保证 不 会 插入 相同 的 键 值 。 


还 要 留意 复制 的 时 序 问题 ， 一 定 要 确保 任 一 时 刻 只 写 一 个 库 ， 主 主 复制 更 多 的 是 为 了 故障 宛 余 而 不 是 为 了 能 够 多 点 写 入 。 一 般配 置 为 Active-standby， 而 不 是 Active-Active。 


一 般 而 言 ， 配 置 为 主 主 复制 会 导致 维护 更 加 复杂 ， 可 能 还 会 带 来 隐患， 需要 更 完善 的 监控 措施 和 自动 化 手段 。 配 复制 的 步骤 这 里 不 再 歼 述 ， 对 每 个 库 分 别 执行 配置 主 从 复制 的 步骤 即 可 。 


12.4 ”配置 级 联 复制 、 环 形 复制 


(1) 配置 级 联 复制 


假如 需要 配置 成 A 一 B 一 C 一 D 一 E 这 样 的 形式 ， 箭 头 表示 复制 到 ， 那 么 可 按 如 下 步骤 进行 。 


1) 首先 打开 各 实例 的 log_slave_update 选 项 ， 首 尾 两 个 实例 也 可 以 不 有 


oh 


J 开 。 
2) 确保 各 主机 的 server-id 不 同 。 


3) 配置 每 一 对 主 从 ，A 一 B，B 一 C，C 一 D，D 一 E。 


注意 节点 越 多 ， 健 壮 性 越 差 ， 建 议 不 要 超过 4~ 5 个 节点 。 


(2) 环形 复制 


有 一 个 现象 需要 留意 : 如 果 E 又 复制 到 A， 就 会 成 为 环形 复制 ， 可 以 实现 多 点 写 入 ， 此 时 也 需要 和 “配置 主 主 复制 ”一 样 关注 键 值 冲突 等 问题 。 环 形 复制 存在 一 个 问题 ， 如 果 某 个 节点 被 摘 下 ， 那 么 这 个 
节点 的 写 入 事件 将 会 在 环 内 永远 循环 。 因 为 只 有 最 开始 发 起 事件 的 节点 才能 过 滤 这 类 事件 ， 所 以 摘 下 节点 之 前 ， 应 该 确保 已 停止 对 其 写 入 。 


MySQL 5.6 实 现 了 GTID， 这 点 大 大 提高 了 链 式 复制 的 健壮 性 。 有 兴趣 的 同学 可 以 参考 http://dev.mysql.com/doc/refman/5.6/en/replication-gtids-concepts.html。 


12.5” 跨 IDC 复 制 


跨 IDC 复 制 架构 的 部 署 与 单机 房 部 署 链 式 复制 (级 联 复制 ) 的 从 库 并 没有 区 别 ， 但 由 于 网 络 的 不 稳定 ， 可 能 会 导致 复制 的 不 稳定 ， 维 护 代价 较 高 ， 而 且 可 能 需要 外 网 IP 才 能 进行 复制 ， 降 低 了 安全 性 。 
但 现实 中 ， 这 种 架构 也 有 人 使 用 ， 相 对 于 使 用 应 用 程序 实现 的 数据 同步 ， 数 据 库 在 某 种 程度 上 成 本 更 低 ， 也 更 容易 确保 数据 的 一 致 性 。 


下 面 将 简 述 一 些 跨 IDC 进 行 复制 的 注意 事项 。 


“ 跨 IDC 的 复制 ， 建 议 还 是 采用 普通 的 主 从 架构 ， 而 不 要 采用 链 式 的 复制 架构 ， 简 单 的 主 从 架构 更 稳健 。 
“ 尽量 只 在 中 心 主 库 进行 写 入 ， 其 他 机 房 只 用 于 读 ， 这 样 既 可 以 简化 架构 ， 也 可 以 避免 多 点 写 入 带 来 的 维护 一 致 性 的 难题 。 如 果 是 M-M 的 架构 ， 也 应 该 将 一 个 机 房 作为 备用 (Standby) ， 仅 作 容 灾 。 
“ 数据 量 较 大 的 时 候 ， 网 络 可 能 会 成 为 瓶颈 ， 建 议 使 用 混合 日 志 的 复制 模式 。 可 在 从 库 中 设置 slave_compressed_protocol=1 压 缩 传输 数据 ， 此 选项 可 进行 动态 设置 。 


“ 由 于 跨 IDC 的 主 从 复制 ， 重 新 搭建 代价 比较 大 ， 在 明确 知道 数据 库 出 现 何 种 错误 时 ， 可 以 忽略 此 错误 ， 可 使 用 “slave-skip-ertors=error_codel,error_code2http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach_ebook/uncompressed/16038/OEBPS/Text/...| al”， 但 不 要 滥用， 否则 容易 导致 主 从 不 一 致 而 不 自 知 。 


“ 由 于 跨 IDC 的 复制 ， 网 络 可 能 会 不 稳定 ， 应 用 程序 应 该 处 理 网 络 延 时 对 用 户 体验 的 影响 。 


12.6 ”多 主 复制 


关于 多 主 复制 ，MySQL 目 前 可 以 实现 的 思路 和 方法 如 下 。 


1) 使 用 一 些 开 源 的 工具 ， 如 tungsten-replicator。 
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自己 写 脚本 对 不 同 的 主 库 进 行 轮 询 ， 获 取 日 志 ， 要 跟踪 每 个 主 库 的 位 置 ， 此 种 方式 比较 复杂 。 


3) MySQL5.7 开 始 支 持 多 主 。 可 参考 https://www.percona.com/blog/2013/10/02/mysql-5-7-multi-source-replication/。 


12.7” 延 时 复制 


MySQL 同 步 在 快速 的 网 络 中 是 毫秒 级 的 ， 如 果 有 误 操作 ， 从 库 也 会 马上 变更 ， 对 于 一 些 频繁 进行 ， 而 没有 经 过 严格 测试 的 升级 ， 可 能 会 带 来 风险 。 


可 考虑 配置 一 个 延迟 复制 的 副本 ， 以 改善 故障 情况 下 的 可 恢复 性 。 


MySQL5.6 已 经 可 以 支持 延迟 复制 ， 如 果 是 5.1 版 本 ， 可 以 用 Percona 公 司 出 品 的 一 个 工具 pt-slave-delay 来 实现 延 时 复制 。 


下 载 地 址 为 wget percona.com/get/pt-slave-delay 
安装 步骤 此 处 省 略 。 
语法 格式 为 


pt-slave-delay [OPTIONhttp://www.hzcourse.cor/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPSVText/...] SLAVE-HOST [MASTER-HOST] 


选项 值 一 般 可 以 用 默认 的 ， 默 认 是 延迟 1 小 时 。 


如 下 是 一 个 设置 延 时 的 例子 。 


pt-slave-delay u=xxxx,S=/tmp/mysql.sock,p=password --delay lm --interval 15s --run-time 10m --1og /path/to/delay.1og -daemonize 


以 上 命令 表示 后 台 运 行 这 个 工具 10 分 钟 (默认 是 永久 运行 的 ) ， 从 库 保持 一 直 滞后 主 库 1 分 钟 ， 间 隔 15 秒 每 检查 一 次 ， 那 么 理论 上 是 延迟 了 1 分 钟 15 秒 。 


延 时 复制 的 原理 为 检查 主 库 的 日 志 到 了 哪里 了 (可 以 用 SHOW SLAVE STATUS 命令 查看 中 继 日 志 ) ， 对 比 已 经 应 用 的 日 志 ， 就 知道 延迟 的 时 间 了 。 每 隔 1 分 钟 检查 一 次 (默认 ) ， 不 断 启动 、 关 闭 


replication SQL thread 来 保持 主 从 一 直 延 时 固定 的 时 间 。 


如 果 正 在 运行 这 个 工具 ， 那 么 按 Ctrl+C 退 出 后 ， 它 是 友好 地 退出 的 ， 意 思 是 它 会 启动 复制 SQL 线程 。 


12.8” 半 同步 复制 


MySQL 5.5 开 始 支 持 半 同 步 复 制 (semi-sync replication) ， 半 同步 复制 提供 了 更 好 的 灾难 恢复 性 。 


同步 的 原理 是 ， 主 库 和 它 的 从 库 都 启用 半 同 步 特 性 ， 当 一 个 从 库 连 接 主 库 时 要 标识 自己 是 否 支 持 半 同步 ， 如 果 主 库 启用 了 半 同 步 ， 且 拥有 至 少 一 个 半 同 步 从 库 ， 那 么 一 个 事务 提交 会 阻塞 直到 确认 至 
半 同 步 从 库 已 经 “接收 到 事务 事件 (event) ”为 止 ， 否则 会 发 生 一 个 “超时 ”。 
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半 同步 从 库 在 写 入 事件 到 中 继 日 志 (relay log) 时 ， 刷 新 到 磁盘 后 才 确认 “接收 到 事务 事件 ”。 


将 自动 切换 到 异步 复制 模式 。 


如 果 发 生 一 个 “超时 ”， 即 没有 任何 一 个 半 同 步 从 库 确 认 “ 接 收 到 事务 事件 ”， 那 么 主 库 


当 至 少 一 个 半 同 步 从 库 追 赶 上 主 库 ， 主 库 又 会 自动 切换 到 半 同 步 模式 。 


这 里 的 “ 半 同 步 ”， 可 以 按 如 下 这 样 理解 。 


对 于 传统 的 异步 同步 ， 主 库 写 事务 事件 到 二 进 制 日 志 里 ， 从 库 索 取 主 库 日 志 ， 这 还 不 能 确保 事务 事件 被 传送 到 从 库 。 而 对 于 全 同步 复制 (fully synchronous replication) ， 主 库 提交 事务 ， 必 须 等 待 从 
库 也 成 功 提 交 这 个 事务 ， 才 能 完成 这 个 事务 ， 这 样 容易 造成 事务 的 延迟 。 所 以 ， 出 现 了 半 同 步 ， 半 同步 是 介 于 异步 和 全 同步 之 间 的 同步 。 


需要 留意 到 是 ， 半 同步 对 于 网 络 的 要 求 很 高 ， 它 仅 适 用 于 高 速 内 网 。 昌 然 MySQL 5.5 的 半 同 步 表现 不 佳 ， 但 是 ， 据 MySQL 官 方 文档 称 ， 在 新 的 5.7 版 本 中 ， 它 已 经 得 到 了 改善 。 


12.9 ”在 线 搭建 从 库 


我 们 有 多 种 方式 可 以 在 数据 库 提 供 服 务 的 时 候 搭建 从 库 ， 而 不 影响 线 上 数据 库 或 对 其 影响 很 小 。 在 线 搭建 从 库 一 般 可 分 为 两 类 ， 一 种 是 在 操作 系统 下 做 快照 ， 另 一 种 是 利用 自 带 的 备份 工具 mysqldump 
制作 备份 。 如 下 记录 的 是 主 从 配置 的 一 些 常规 步骤 ， 一 些 基本 的 设置 ， 比 如 参数 的 设置 ， 这 里 将 不 再 歼 述 ， 如 果 不 加 以 说 明 ， 那 么 我 们 备份 的 库 都 是 InnoDB 引 掌 的 表 。 


12.9.1 操作 系统 下 对 打包 文件 配置 主 从 


1. 已 经 有 一 主 一 从 ， 增 加 一 个 从 库 


如 果 我 们 已 经 有 了 主 从 库 ， 那 么 另外 再 搭建 一 个 从 库 会 比较 简单 ， 大 概 的 步骤 如 下 所 示 。 


1) 关闭 从 库 。 


nN 


打包 相关 文件 到 另外 一 台 主 机 。 


包括 数据 文件 ， 如 ibdata*、lnnoDB 事 务 日 志文 件 ib logfile*、master.info 文 件 、relay-log.info 文 件 和 my.cnf 配 置 文件 。 


Wu 


在 新 的 数据 库 主 机 上 配置 相应 的 参数 ， 注 意 server-id 不 要 和 其 他 数据 库 实例 相同 。 


4) 一 般 来 说 ，master.info 的 信息 和 relay-log.info 的 信息 是 一 致 的 ， 你 可 以 直接 删除 relay-log.info 文 件 ， 重 新 启动 ， 新 的 从 库 会 按照 master.info 里 的 信息 重新 同步 数据 库 。 


中 


5) 一 些 情 况 下 即使 正常 关闭 了 数据 库 ， 也 可 能 存在 信息 不 一 致 的 情况 ，relay-log.info 里 记录 了 当前 应 用 到 数据 库 主 库 的 二 进 制 日 志 的 位 置 ， 这 个 值 不 同 于 master.info 里 记录 的 当前 读 取 到 的 主 库 
的 位 置 ， 这 种 情况 下 ， 我 们 可 以 删除 masterinfo 文 件 ， 然 后 重新 启动 数据 库 实 例 ， 并 按照 relay-log.info 里 记录 的 信息 ， 运 行 CHANGE MASTER 命 令 重新 同步 主 库 的 数据 。 


2. 仅 有 主 库 ， 增 加 一 个 从 库 


如 果 我 们 只 有 一 个 主 库 ， 这 个 时 候 ， 我 们 希望 制作 从 库 ， 而 主 库 正在 提供 服务 ， 我 们 还 希望 对 主 库 的 影响 最 小 ， 那 么 我 们 可 以 采用 如 下 的 方式 制作 从 库 ， 注 意 ， 这 种 方式 仅 适 合 MylSAM 引 擎 的 表 。 对 
InnoDB 数 据 库 不 要 使 用 这 种 方式 制作 从 库 。 


1) 主 库 赋予 从 库 访 问 权 限 。 


mysql> GRANT REPLICATION SLAVE ON *.* TO 'replic'@'xxx' IDENTIFIED BY 'xxxxxxxx'; 


2) 主 库 施 加 全 局 读 锁 ， 禁 止 更 新 和 提交 数据 ， 并 记录 当前 主 库 二 进 制 日 志 的 位 置信 息 。 


FLUSH TABLES WITH READ LOCK; 
SHOW MASTER STATUS; 


3) 另外 打开 一 个 会 话 ， 打 包 文 件 ， 一 般 情况 下 我 们 需要 打包 数据 文件 ibdata* 和 日 志文 件 ib_log*， 比 如 使 用 tar 命 令 进行 打包 。 


tar cvf data.tar * 


4) 打包 所 有 需要 的 文件 后 ， 在 主 库 上 进行 解锁 。 


UNLOCK TABLES; 


5) 将 打包 


后 的 文件 传递 到 远程 主机 ， 并 删除 多 余 的 文件 ，InnodB 的 数据 文件 bdata* 和 日 志文 件 ib_log* 需 要 保留 ， 配 置 文件 my.cnf 可 能 也 需要 保留 ， 


如 下 命令 将 远程 传输 文件 。 


scp data.tar mysql@11.11.11.11:/home/mysql/ 


6) 启动 从 库 , 使 


change 命 令 配 置 要 从 哪个 主 库 进行 同步 ， 并 启动 slave。 


CHANGE MASTER TO 

MASTER HOST="11.11.11.11', 

MASTER PORT=3306, 

MASTER USER="'replic user', 

MASTER_ PASSWORD=' yourpassword', 
MASTER LOG FILE='mysql-bin.000084"', 
MASTER_ LOG POS=521259880; 

show salve status \G 

start slave; 

show salve status \G 


以 上 的 MASTER_LOG FILE 和 MASTER_LOG_POS 就 是 第 2) 个 步骤 记录 的 主 库 二 进 制 


志 的 位 


信息 。 


注意 FLUSH TABLES WITH READ LOCK 这 条 语句 必须 等 待 


以 上 制作 从 库 的 方式 ， 对 于 都 是 MylSAM 引 警 表 的 数据 库 比较 适 上 


他 查询 语句 的 完成 ， 所 以 可 能 会 耗 时 很 长 才 执行 完 这 条 语句 ， 甚 至 超时 退出 。 


作 从 库 ， 或 者 不 能 启动 ， 所 以 ， 请 不 要 对 InnoDB 数 据 库 使 


如 果 不 使 用 tar 命 令 ， 而 是 使 用 操作 系统 下 的 快照 技术 ， 那 么 对 于 
取 数 据 库 文件 的 一 个 快照 ， 但 要 注意 ， 所 有 的 文件 都 应 该 放 在 同一 个 分 


12.9.2 利用 mysqldump 制 作 从 库 


1. 在 主 库 上 执行 mysqldump 制 作 从 库 


如 果 我 们 希望 在 主 库 上 导出 所 有 数据 ， 制 作 从 库 ， 那 么 我 们 可 以 在 3 


nnoDB 引 警 的 数据 库 采用 如 上 的 方式 也 可 以 制作 从 库 ， 我 没有 去 验证 过 ， 但 理论 上 是 可 行 的 。 因 


， 但 InnoDB 的 后 台 进 程 即 使 是 施加 了 全 局 锁 ， 在 tar 打 包 文 件 的 过 程 中 ， 也 仍然 会 去 写 InnoDB 的 数据 文件 ， 可 能 最 终 的 数据 文件 并 不 


这 种 方式 制作 从 库 。 


区 里 ， 这 种 方式 下 获得 的 快照 所 有 文件 都 将 是 一 致 的 。 


为 我 们 在 施加 全 局 锁 的 时 候 ， 可 以 获 


E 库 上 运行 mysqldump 命 令 先 制作 一 个 备份 文件 。mysqldump 的 命令 类 似 如 下 。 


mysqldump --flush-logs 
--master-data=2 --single-transaction --hex-blob -R -f 
--all-databases > /path/to/dir/databases.sql 


我 们 通常 称 mysqldump 导 出 的 数据 文件 为 转 储 文件 或 dump 文 件 ， 
data 的 默认 值 是 1， 会 生成 


single-transaction 参 数 表 示 制 作 一 个 一 致 性 的 备份 集 ， 对 于 InnoDB， 制 作 一 致 性 备份 集 的 时 候 不 会 锁 表 ， 仍 然 可 以 读 写 数 据 ， 这 点 对 了 


mysqldump--flush-logs--master-data=2--single-transaction--hex-blob-R-f--all-databases 这 个 命令 ， 


对 于 --master-data=2， 如 果 不 加 single-transaction 参 数 ， 那 么 它 在 


master-data=2 会 生成 被 注释 掉 的 CHANGE MASTER TO 语句 ， 存 储 在 转 储 文件 里 ， 我 们 可 以 利用 这 个 信息 来 创建 从 库 。master- 


自动 执行 的 语句 ， 由 于 我 们 一 般 不 希望 自动 执行 ， 所 以 我 们 将 该 值 设置 为 2。 


在 线 备份 很 重 


。 对 了 


动 启 上 


--lock-all-tables 备 份 的 过 程 中 会 锁 表 。 


实际 创建 数据 库 从 库 的 步骤 具体 如 下 。 


1) 部 署 好 从 库 实例 ， 此 时 数据 为 空 。 


2) 在 主 库 上 执行 mysqldump 命 令 ， 将 数据 导出 为 SQL 文 件 。 
3) 在 从 库 上 导入 此 SQL 文 件 。 


4) 配置 主 从 。 


根据 转 储 文件 (SQL 文件 ) 的 CHAGE MASTER 语 句 提供 的 信息 ， 可 以 生成 相应 的 CHANGE MASTER 命 令 ， 并 在 从 库 中 执行 。 


我 们 也 可 以 使 
InnoDB 也 有 效 ， 具体 步骤 如 下 。 


1) 在 主 库 上 运行 命令 锁 表 、 备 份 。 


MylISAM 表 ， 仍 然 会 需要 锁 表 。 


它 只 是 在 一 开始 的 瞬间 会 请 求 锁 表 ， 所 以 它 对 系统 的 影响 很 小 。 


另外 一 种 方法 ， 在 主 库 上 运行 命令 “FLUSH TABLES WITH READ LOCK; ”然后 使 用 mysqldump 导 出 数据 ， 利 用 此 转 储 文件 来 制作 从 库 ， 这 种 方式 不 仅 对 MylSAM 有效， 对 于 


FLUSH TABLES WITH READ LOCK; 
SHOW MASTER STATUS; 


记录 SHOW MASTER STATUS 命 令 的 输出 结果 。 
此 时 ， 不 要 关闭 如 上 的 会 话 连接 。 


另外 再 开 一 个 会 话 ， 运 行 mysqldump 命 令 备份 。 


mysqldump -uroot -p --all-databases > /a/path/mysqldump.sql 


mysqldump 命 令 执 行 完毕 之 后 ， 在 主 库 上 原来 的 会 话 连 接 里 ， 运 行 如 下 的 命令 解锁 。 


UNLOCK TABLES; 


2) 向 从 库 导入 dump 文 件 。 


如 果 之 前 启动 了 SLAVE， 则 关闭 SLAVE。 


STOP SLAVE; 


运行 如 下 命令 导入 数据 。 


mysql -uroot -p < mysqldump .sql 


运行 如 下 命令 ， 修 改 要 连接 的 主 库 信息 。 


RESET SLAVE; 
CHANGE MASTER TO MASTER LOG FILE=’ mysql-bin.000001’ , MASTER LOG POS=98; 
START SLAVE; 


以 上 MASTER LOG FILE 和 MASTER_LOG_POS 的 信息 就 是 上 述 第 1) 个 步骤 中 运行 SHOW MASTER STATUS 记录 的 值 。 


3) 运行 命令 “SHOW SLAVE STATUS; ”检查 复制 状态 ， 以 下 两 项 的 值 应 该 都 是 YES。 


Slave_IO Running: Yes 
Slave_SQL Running: Yes 


2. 在 从 库 上 执行 mysqldump 制 作 从 库 


如 果 不 能 关闭 从 库 ， 那 么 我 们 一 般 采 取 关 闭 Slave 的 SQL 线程 ， 然 后 导出 数据 的 方式 制作 从 库 。 


原理 : 关闭 从 库 的 复制 SQL 线程 后 ， 从 库 将 不 再 被 更 新 ， 这 个 时 候 ， 可 以 认为 我 们 获得 了 一 个 一 致 性 的 快照 。 关 于 这 个 快照 和 原来 主 库 的 主 从 关系 ， 我 们 可 以 运行 SHOW SLAVE STATUS\G 命 令 来 查 
看 。 具 体 步骤 如 下 。 


1) 关闭 Slave 的 SQL 线 程 ， 并 获取 SHOW SLAVE STATUS 的 信息 。 


mysql> STOP SLAVE SQL THREAD; 
mysql> SHOW SLAVE STATUS; 


2) 对 于 SHOW SLAVE STATUS 命令 的 输出 ， 我 们 关注 的 是 如 下 两 项 。 


Relay _ Master Log File 
Exec Master Log Pos 


新 的 从 库 应 该 从 主 库 的 如 上 位 置 开始 重新 同步 。 


3) 导出 数据 库 ， 命 令 如 下 。 


shell> mysqldump -master-data=2 -all-databases > dumpfile 


4) 重新 启动 Slave， 命 令 如 下 。 


mysql> START SLAVE; 


5) 向 新 的 slave 机 器 导入 数据 ， 命 令 如 下 。 


shell> mysql < dumpfile 


6) 对 新 的 slave 实 例 ， 运 行 如 下 命令 恢复 同步 ，file_ name、file_pos 就 是 我 们 第 2) 个 步骤 中 记录 的 Relay Master_ Log_File 和 Exec_Master_ Log_Pos 的 值 。 


mysql> CHANGE MASTER TO 
MASTER LOG FILE = 'file name', MASTER LOG POS = file pos; 


12.10 ”配置 日 志 服 务 器 


如 果 配 置 主 从 ， 从 库 需要 读 取 的 是 比较 旧 的 日 志 ， 而 这 些 日 志 没 有 被 主 服 务 器 操作 系统 缓存 ， 必 须 从 磁盘 中 进行 读 取 ， 那 么 可 能 会 导致 大 量 的 磁盘 读 写 ， 从 而 严重 影响 数据 库 繁 忙 的 生产 系统 ， 可 以 考 
虑 的 办 法 是 不 要 直接 从 主 库 中 进行 日 志 传 递 ， 而 是 专门 搭建 一 个 日 志 服 务 器 。 


配置 完 日 志 服 务 器 之 后 ， 把 从 库 索取 的 日 志文 件 放 到 日 志 服务 器 中 ， 然 后 再 从 这 个 日 志 服 务 器 进行 同步 。 


关于 日 志 服 务 器 的 配置 ， 可 参考 http://mysqlsandbox.net， 我 们 也 可 以 使 用 日 志 服务 器 来 进行 时 间 点 恢复 ， 利 用 复制 来 进行 时 间 点 恢复 而 不 是 用 mysqlbinlog 来 进行 ， 注 意 原因 如 下 。 


“ 复制 是 被 久 经 考验 的 ， 而 mysqlbinlog 则 不 是 那么 可 靠 。 
“ 复制 的 速度 更 快 。 
“ 复制 可 以 更 方便 地 查看 进度 。 


“ 复制 有 更 多 控制 ， 更 容易 处 理 复制 错误 ， 也 可 以 过 滤 事 件 。 


配置 日 志 服 务 器 进行 时 间 点 恢复 的 步骤 如 下 。 
1) 部 署 安装 。 


下 载 MySQL 二 进 制 官方 安装 包 。 


wget mysql-5.1.58-linux-x86 64-glibc23.tar.gz 


下 载 sandbox， 创 建安 装 用 户 。 


wget https://launchpad.net/mysql-sandbox/mysql-sandbox-3/mysql-sandbox-3/+download/mysql-Sandbox-3.0.28.tar.gz 
useradd sam 
usermod -G mysql sandbox 


解压 到 目录 /home/sandbox/pkgs/mysql-Sandbox-3.0.28/， 进 行 安装 。 注 意 不 要 将 解压 的 二 进 制 包 的 目录 删除 了 。 


# as normal user 

export PATH=$HOME/usr/local/mysql/bin:$PATH 

##export PERLSLIB=$HOME/usr/local/lib/perl5/site perl/5.8.8 
perl Makefile.PL PREFIX=$HOME/local/sandbox 

make 

make test 

make install 


将 /home/sandbox/local/sandbox/bin 路 径 添加 到 PATH 变 量 。 


执行 如 下 命令 安装 MySQL 实 例 。 


make sandbox /home/sandbox/pkgs/mysql-5.1.58-linux-x86 64-glibc23.tar.gz 


安装 成 功 后 ，/home/sandbox/sandboxes/msb_5_1_58 下 同时 生成 了 很 多 便于 管理 的 脚本 ， 如 start、stop、use 等 。 


配置 字符 集 ， 并 添加 日 志 临 时 目录 (默认 生成 的 实例 是 没有 日 志 的 ) 。 


./stop 


修改 配置 文件 。 


[client] 
default-character-set = utf8 
[mysqld] 

Character-set-server = utf8 
default-storage-engine=innodb 
./Statt 

.V/use 

> Status 


2) 以 下 命令 将 查找 最 近 的 二 进 制 文件 ， 并 且 将 日 志 传递 到 sandbox 主 机 ， 准 备 测 试 。 


find ./ -type 工 -name "mysql-bin.*" -newer mysql-bin.025050 |xargs ls -lrt > /tmp/all files.txt 
scp -P 9922 -~p ‘cat /tmp/all files.txt. sandbox@11.11.11.11:/home/sandbox/mysqllog tmp 


3) 配置 日 志 服务 器 。 


通过 以 上 步骤 ,日志 目 录放 在 /home/mysql/mysqllog_tmp 处 ,我 们 可 运行 如 下 命令 生成 日 志 索 引文 件 mysql-bin.index。 


cd /home/sandbox/mysqllog tmp 
1s -1 /home/sandbox/mysqllog tmp/mysql-bin.[0-9]* > mysql-bin.index 
./stop 


修改 配置 文件 my.sandbox.cnf， 添 加 如 下 配置 项 。 


1og_bin = /home/sandbox/mysqllog tmp/mysql-bin 
log bin index = /home/sandbox/mysqllog tmp/mysql-bin.index 
/start 


启动 成 功 。 


‘/use 
> show binary logs 


4) 配置 复制 用 户 。 


‘/use --user=root 
> GRANT REPLICATION SLAVE ON *.* TO 'rsandbox'@'10.%' IDENTIFIED BY 'rsandbox'; 


5) 配置 主 从 同步 ， 进 行 时 间 点 恢复 ， 恢 复 到 指定 时 间 。 


基本 步骤 如 下 。 


向 从 库 导 入 一 份 历史 备份 ， 配 置 主 从 同步 ， 然 后 应 用 日 志 服 务 器 的 日 志 ， 我 们 可 以 设置 同步 到 某 个 时 间 点 。 可 使 用 如 下 命令 ， 同 步 到 某 个 指定 的 位 置 。 


STARTSLAVE [SQL THREAD]UNTILMASTER LOG FILE='l0g name',MASTER LOG POS=10g pos 


12.11 ”常见 的 复制 问题 及 处 理 方法 


以 下 将 叙述 一 些 常见 的 复制 故障 处 理 。 有 些 复制 故障 是 因为 从 库 被 误 操作 而 导致 的 ， 此 时 可 能 要 修复 数据 或 重 做 从 库 ， 此 类 故障 的 处 理 ， 这 里 就 不 做 叙述 了 。 


12.11.1 。 跳 过 复制 错误 


在 明确 知道 数据 库 出 现 了 何 种 错误 时 ， 可 以 忽略 此 错误 ， 但 不 要 滥用 ， 跳 过 错误 的 命令 如 下 。 


STOP SLAVE; 
SET GLOBAL sql slave skip counter = 1; 


STARTSLAVE; 
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俐 时 表 和 复制 


必须 保证 干 兆 地 关闭 从 库 ， 否 则 复制 可 能 会 出 错 。 因 为 在 复制 的 时 候 ， 从 库 的 临时 表 也 在 进行 同步 ， 如 果 关 闭 了 从 库 ， 再 重启 的 时 候 ， 就 没有 临时 表 了 ， 那 么 那些 对 临时 表 的 更 新 就 不 能 被 复制 过 来 ， 


从 而 就 会 复制 出 错 。 所 以 需要 干净 地 关闭 临时 表 ， 在 没有 临时 表 的 时 候 ， 干 净 地 关闭 数据 库 。 


如 下 步骤 可 避免 复制 出 错 。 


sk 


运行 “STOP SLAVE SQL THREAD; ”命令 。 


3 


运行 SHOW STATUS 检 查 Slave_open_temp_tables 的 值 ， 具 体 命令 如 下 。 


SHOW STATUS like '%slave%®'; 


3) 如 果 Slave_open_temp_tables 不 等 于 0， 那 么 运行 START SLAVE SQL THREAD， 然 后 重复 以 上 步骤 。 


4) 如 果 Slave_open_temp_tables=0， 那 么 ， 那 么 可 以 关闭 数据 库 的 实例 了 。 


或 者 可 以 用 另外 一 种 方式 ， 将 临时 表 的 前 缀 都 配置 为 某 个 名 称 (如 norep) ， 然 后 用 选项 --replicate-wild-ignore-table=norep% 将 这 些 表 配 置 为 不 复制 。 


临时 表 的 复制 问题 主要 是 出 在 基于 语句 的 复制 模式 ， 如 果 使 用 row-based 复 制 ， 那 么 临时 表 是 不 会 被 复制 的 ， 如 果 你 希望 一 劳 永 逸 ， 可 以 考虑 使 用 基于 行 的 复制 模式 。 


12.11.3 ”内 存 表 和 复制 


如 果 使 用 的 是 内 存 引 擎 的 表 ， 那 么 从 库 重启 也 可 能 会 导致 复制 中 断 。 


1) 如 果 主 库 重启 ， 那 么 内 存 表 将 会 是 空 的 , 会 写 入 一 个 “DELETE” 语 句 到 二 进 制 日 志 ， 通 知 从 库 清空 数据 ， 这 种 情况 下 一 般 不 会 有 复制 问题 。 


2) 如 果 从 库 重启 ， 那 么 内 存 表 是 空 的 ， 这 会 导致 和 主 库 的 数据 不 一 致 ， 主 库 复制 过 来 的 操作 将 无 法 正常 运行 ， 复 制 将 会 失败 。 基 于 行 的 复制 可 能 会 出 现 错误 “Can't find record 


in'memory table” 


此 种 情况 下 的 复制 中 断 没有 太 好 的 解决 方案 。 如 果 可 能 ， 我 们 可 以 用 InnoDB 来 代替 内 存 表 。 如 果 你 实在 需要 使 用 内 存 表 的 话 ， 可 以 考虑 设置 IDEMPOTENT (这 个 选项 对 所 有 其 他 表 都 生效 ， 因 此 需要 


谨慎 使 用 ) ， 或 者 忽略 报错 的 错误 号 ， 比 如 忽略 1032 错 误 ， 或 者 还 可 以 在 从 库 中 忽略 要 复制 的 内 存 表 。 


另外 ， 基 于 语句 的 复制 ， 比 如 INSERT INTO...SELECT FROM memory table 可 能 向 主 从 库 中 插入 不 一 样 的 数据 。 


如 果 设 置 了 内 存 表 的 大 小 ，SET global max_heap table size value， 那 么 这 个 变更 是 不 会 被 复制 到 从 库 的 ， 你 需要 确保 主 从 都 做 了 变更 。 


然 主 从 的 内 存 表 的 数据 可 能 会 不 一 致 ， 但 是 如 果 应 用 程序 逻辑 可 以 确保 内 存 表 只 是 用 作 缓 存 ， 那 么 一 般 是 不 会 有 太 大 的 问题 。 


12.11.4， 主 库 宕 机 重新 启动 成 功 ， 但 复制 关系 中 断 


主 库 、 从 库 宕 机 都 可 能 导致 复制 关系 中 断 。 


一 般 情况 下 ， 生 产 环境 中 出 现 的 复制 故障 主要 是 主 库 宕 机 后 ， 从 库 找 不 到 同步 的 主 库 日 志 位 置信 息 ， 需 要 手动 处 理 。 


让 从 库 忽略 主键 冲突 的 错误 。 


待 主 从 之 间 的 复制 稳定 之 后 ， 建 议 立 即 取消 忽略 的 错误 号 ， 仍 然 执行 严格 的 复制 检查 。 


12.11.5” 主 库 宕 机 重启 不 成 功 


如 果 主 库 宕 机 重启 不 成 功 ， 则 需要 选择 其 中 一 台 从 库 做 主 库 ， 具 体 步骤 如 下 。 


1) 通过 master log file、read_master log_pos 可 以 判断 哪个 从 库 是 最 新 的 。 


2) 确认 该 从 库 已 经 应 用 了 所 有 日 志 ， 提 升 该 从 库 为 主 库 。 


3) 其 他 从 库 自 行 检查 自己 最 新 的 日 志 ， 判 断 是 哪个 时 间 点 中 断 了 ， 是 哪 条 SQL， 然 后 通过 这 条 SQL 去 “新 主 库 ” 查 找 具 体 的 位 置 点 (position) ， 并 从 这 个 点 开始 同步 。 


主 库 二 进 制 日 志 并 不 是 实时 刷新 的 ， 主 库 宕 机 后 ， 部 分 日 志 丢失 了 ， 但 是 更 多 的 日 志 已 经 被 传送 到 了 从 库 ， 结 果 从 库 的 数据 比 主 库 的 还 要 新 ， 这 种 情况 下 往往 会 导致 主键 冲突 。 我 们 需要 进行 临时 设置 


由 于 检索 相关 SQL 比 较 耗 时 ， 对 于 高 并 发 的 业务 ， 可 能 会 难以 定位 到 具体 的 位 置 点 ， 如 果 可 以 接受 部 分 数据 误差 ， 那 么 我 们 也 可 以 直接 选择 故障 时 刻 的 大 致 日 志 位 置 点 或 凭 经 验 决定 从 哪里 开始 同步 。 


如 果 确实 难以 定位 ， 但 对 于 数据 的 一 致 性 要 求 又 很 高 ， 那 么 我 们 可 以 对 新 的 主 库 重新 制作 从 库 ， 以 保证 数据 的 准确 性 。 


12.11.6 ”多 个 从 库 的 server-id 相 同 


如 果 主 库 的 一 些 从 库存 在 server-id 相 同 的 情况 ， 那 么 从 库 的 MySQL 错 误 日 志 里 将 会 有 大 量 的 重 连 和 断 开 的 错误 ， 但 它 不 会 明确 告知 我 们 server-id 有 重复 。 


配置 不 同 的 server-id 即 可 解决 此 问题 。 


12.11.7 ”锁定 导致 的 复制 延 时 


如 果 是 基于 语句 的 复制 ， 那 么 从 库 上 的 操作 中 锁定 可 能 会 比较 多 ， 从 而 影响 复制 的 速度 ， 比 如 INSERT...SELECT 这 类 语句 会 锁 住 所 有 数据 。 由 于 从 库 上 的 操作 是 逐个 顺序 执行 的 ， 
可 能 会 导致 大 的 延 时 。 解 决 方法 具体 如 下 。 


1) 分 割 查询 ， 尽 早 释 放 资 源 。 


2) 可 以 考虑 采用 SELECT INTO OUTFILE， 然 后 LOAD DATA INFILE 的 方式 。 


因此 长 时 间 的 查询 ， 


12.11.8 对 MylISAM 引 警 的 表 恢 复数 据 


如 果 某 个 MylSAM 表 的 数据 有 问题 ， 需 要 恢复 到 某 个 时 间 点 的 数据 ， 那 么 我 们 可 以 采用 如 下 的 便捷 方法 进行 恢复 。 


1) 主 库 LOCK TABLE table name READ。 
2) 主 库 FLUSH TABLES。 


3) 复制 备份 的 MylSAM 数 据 文件 ， 覆 盖 掉 主 库 和 从 库 中 的 这 个 表 。 


4) 主 库 解 锁 表 UNLOCK TABLES。 


以 上 方法 在 理论 上 是 可 行 的， 主要 是 为 了 确保 在 将 备份 文件 复制 到 主 库 上 的 时 候 ， 主 从 复制 也 是 正常 的 。 有 时 我 们 在 误 操作 表 之 后 ， 希 望 能 够 恢复 数据 ， 这 时 就 可 以 采用 这 样 的 办 法 了 。 


12.11.9 ”如 何 彻底 清除 Slave 设 置 
MySQL 5.1 并 不 能 干净 清除 复制 信息 ， 比 如 ， 我 们 在 本 机 执行 如 下 命令 。 


STOP SLAVE; 
RESET SLAVE; 


以 上 命令 将 清除 master.info 和 relay-log.info。 


但 我 们 仍然 可 以 在 如 下 命令 中 看 到 一 些 残 留 信息 。 


SHOW SLAVE STATUS \G; 


残留 信息 输出 如 下 。 


mysql> SHOW SLAVE STATUS \G; 
淆 闫 淆 突 灾 关 闪 奖 交 类 奖 次 交 类 次 交 灾 关 次 交 交 关 次 次 六 类 次。 。 工 ON 交 宙 类 次 奖 尖 闪 次 奖 关 大 次 奖 尖 大 次 奖 尖 大 次 交 类 大 次 交 光 大 
Slave IO State: 
Master Host: appxxx 
Master User: test 
Master Port: 3306 
Connect Retry: 60http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openr 


理论 上 清除 废旧 的 文件 ， 然 后 重启 MySQL 即 可 ， 那 么 有 没有 更 好 的 不 需要 重启 的 办 法 呢 》 可 以 试 试 下 面 这 个 办 法 。 


CHANGE MASTER TO MASTER HOST=" 


这 个 时 候 虽 然 “SHOW SLAVE STATUS\G;” 没 有 任何 Slave 相 关 信息 的 输出 了 ， 但 是 重新 生成 了 master.info 和 relay-log.info 文 件 ， 这 样 很 不 友好 。 


然后 我 们 再 运行 “RESET SLAVE”; 命令 ， 这 次 就 可 以 清除 所 有 信息 了 。 此 时 可 手动 清除 残留 的 *relay* 文 件 。 


12.11.10 ”网 络 异 常 导 致 的 复制 延 时 


MySQL 在 网 络 异 常 的 时 候 ， 也 可 能 会 延 时 很 久 ， 然 而 我 们 并 不 知道 ， 虽 然 SHOW SLAVE STATUS\G 输 出 里 的 Seconds_Behind_Master 显 示 为 0， 但 可 能 已 经 延 时 很 久 了 。 建 议 把 slave_net timeout 参 
数 设置 得 小 一 些 ， 比 如 小 于 1 分 钟 。 


Os 本 章 介 绍 了 MySQL 的 复制 技术 ， 所 有 其 他 复制 架构 的 基础 都 是 主 从 复制 ， 我 们 应 该 熟练 掌握 主 从 复制 ， 熟 悉 复 制 相关 的 各 种 文件 。 复 制 故 障 是 生产 环境 中 比较 常见 的 问题 ， 特 别 是 有 大 批量 机 
器 的 时 候 ， 为 了 减少 复制 问题 的 发 生 ， 我 们 应 保证 复制 架构 的 简单 ， 尽 量 少 用 MySQL 的 各 种 高 级 特性 ， 比 如 内 存 表 、 临 时 表 、 视 图 、 存 储 过 程 、 触 发 器 等 。 


第 13 章 ”迁移 、 升 级、 备份 、 恢 复数 据 库 


本 章 将 为 读者 讲述 数据 库 的 各 种 维护 任务 : 迁移 、 升 级 、 备 份 和 恢复 。 因 为 每 个 人 熟悉 的 工具 不 同 ， 其 对 应 的 迁移 、 升 级 、 备 份 和 恢复 的 方式 也 都 略 有 不 同 ， 本 书 将 尽量 对 笔者 认为 最 具 普 遍 性 的 一 些 
操作 进行 讲述 。 另 外 还 整理 出 了 一 些 注意 事项 ，DBA 需 要 有 续 密 的 思维 ， 要 考虑 到 可 能 出 现 的 各 种 情况 ， 并 能 够 冷静 地 处 理 异 常情 况 。 


13.1 升级 
MySQL 的 升级 主要 有 两 类 ， 一 种 是 对 数据 库 表 结 构 或 数据 的 变更 ， 另 一 种 是 数据 库 版 本 的 升级 。 


13.1.1 升级 表 结 构 或 变更 数据 


可 以 直接 在 命令 行 下 键入 SQL 语 名 进行 升级 ， 或 者 执行 SQL 文本 文件 ， 为 了 避免 乱码 和 各 种 字符 集 的 转换 ， 建 议 文本 文件 的 字符 集 与 MySQL 服 务 器 字符 集 ， 以 及 数据 库 连 接 的 设置 都 保持 一 致 ， 生 产 环 
境 中 建议 都 统一 为 utf8。 


生产 环境 中 ， 一 般 是 通过 SQL 脚本 进行 升级 ， 以 下 将 详 述 这 种 升级 方式 ， 大 致 步骤 如 下 。 


1) 首先 确认 要 升级 的 数据 库 信息 : 数据 库 I|P、 端 口 、 数 据 库 名 ， 是 否 有 多 个 分 库 需 要 升级 等 。 


2) 检查 升级 的 脚本 。 


如 果 脚 本 中 存在 非 英文 字符 ， 则 需要 确保 是 utf8 无 BOM 格 式 的 文件 ， 检 查 语 法 是 否 正 确 ， 是 否 有 异常 符号 ， 比 如 全 角 符号 、Windows 换 行 符 等 。 


对 于 重大 的 操作 ， 比 如 删除 数据 库 ， 如 果 有 疑问 ， 请 事先 和 研发 、 测 试 人 员 进行 确认 。 


3) 评估 升级 对 生产 的 影响 ， 以 及 升级 所 耗费 的 


时 间 。 如 果 可 能 会 影响 到 生产 ， 则 应 该 和 研发 、 测 试 、 产 品 、 运 营 等 工作 人 员 沟 通 协调 升级 的 方式 ， 是 否 停 服 ， 是 否 需要 另 选 时 间 ， 比 如 在 凌晨 负荷 低 峰 


时 期 执行 。 在 操作 过 程 中 ， 应 该 尽量 做 到 不 影响 生产 负荷 ， 一 些 操作 可 能 导致 服务 可 用 性 下 降 ， 比 如 在 大 表 上 修改 表 结 构 。 一 些 操作 大 量 数据 的 语句 ， 比 如 INSERT INTO SELECT、CREATE TABLE AS 


SELECT 语句 ， 需 要 锁 表 ， 可 能 也 会 导致 服务 可 用 性 


4) 原则 上 ， 升 级 操作 ， 应 该 是 被 测试 验证 过 的 


的 下 降 。 对 于 大 的 更 新 及 删除 语句 可 考虑 分 拆 成 多 条 语句 执行 。 尽 量 平均 分 布 负荷 ， 以 减少 对 生产 负荷 的 冲击 。 


。 如 果 是 复杂 的 升级 ， 往 往 还 需要 进行 模拟 演练 。 


5) 升级 前 ， 应 该 备份 数据 。 备 份 的 原则 是 能 


尽快 回 滚 ， 如 果 要 升级 的 表 比 较 多 ， 可 以 考虑 进行 一 次 全 备 。 注 意 存 储 过 程 和 触发 器 的 备份 方式 不 同 于 普通 数据 。 


6) 执行 操作 前 ， 应 该 检查 是 否 连接 到 了 正确 的 
据 库 等 信息 ， 我 们 推荐 使 用 utf8 字 符 集 。 


数据 库 ， 检 查 执行 环境 ， 比 如 操作 系统 、mysq| 客 户 端 ， 可 以 在 mysql 命 令 行 提示 符 下 运行 STATUS 进行 验证 。 例 如 ， 以 下 命令 将 验证 客户 端 、 连 接 、 数 


mysql> STATUS 


mysql Ver 14.14 Distrib 5.1.70, for unknown-linux-gnu (x86 64) using readline 5.1 


Connection id: 
Current database: 
Current user: 

SSL: 

Current pager: 
Using outfile: 
Using delimiter: 
Server version: 
Protocol version: 
Connection: 

Server characterset: 
Db characterset: 
Client characterset: 
Conn. characterset: 
UNIX socket: 


1109769683 

db name 
root@localhost 
Not in use 
stdout 

四 


5.1.70-1og MySQL Community Server (GPL) 
10 


Localhost via UNIX socket 
utf8 

utf8 

utf8 

utf8 

/tmp/3306/mysql .sock 


Uptime: 339 days 21 hours 34 min 26 sec 


以 上 连接 、 客 户 端 、 数 据 库 、 数 据 库 服务 器 的 字符 集 都 设置 为 utf8 了 。 检 查 是 否 连接 到 了 正确 的 数据 库 及 主 从 库 。Current database 及 UNIX socket 都 标识 了 当前 正在 更 新 的 库 。 


7) 升级 前 ， 可 能 需要 停止 写 入 ， 或 者 停止 一 些 守护 ， 应 该 和 应 用 服务 器 的 维护 人 员 一 起 确认 是 否 已 经 停止 了 相关 的 写 入 或 守护 。 


8) 可 以 考虑 把 升级 记录 到 日 志 里 。 连 接 时 加 -v 参 数 ， 执 行 SQL 语句 时 使 用 tee filename 把 操作 语句 的 日 志 输出 到 文件 ， 执 行 完毕 后 进行 操作 检查 。 这 也 是 一 个 好 习惯 ， 方 便 以 


级 的 细节 。 


9) 对 于 表 结 构 的 调整 ， 如 果 分 配 更 多 的 资源 能 缩短 执行 的 时 间 ， 那 么 可 在 会 话 级 调 大 资源 分 配 。 


以 上 是 升级 的 大 致 步骤 ， 现 实 中 ， 升 级 的 准确 性 ， 不 仅仅 取决 于 经 验 、 技 能 ， 也 取决 于 流程 、 研 发 与 测试 环节 的 完善 ， 这 点 不 容 忽视 。 


对 大 表 的 升级 


后 我 们 进行 回溯 和 检查 升 


MySQL 更 改 表 结构 时 ， 如 果 是 大 表 ， 则 可 能 会 导致 性 能 问题 ， 因 为 MySQL 5.1、MySQL 5.5 更 改 表 结构 的 绝 大 部 分 操作 就 是 生成 一 个 新 结构 的 临时 表 ， 然 后 把 数据 插入 到 新 的 表 ， 逐 条 插入 记录 ， 同 时 


修改 索引 ， 在 将 所 有 数据 都 复制 到 新 的 表 之 后 ， 删 除 旧 表 ， 然 后 将 新 表 重 命名 为 旧 表 的 名 字 ， 实 现 新 旧 表 的 切换 。 这 种 操作 成 本 高 ， 还 会 导致 不 能 写 入 数据 ， 对 于 许多 生产 系统 来 说， 这 是 不 可 接受 的 ， 因 


为 它 会 严重 影响 服务 的 可 用 性 。 


由 于 修改 大 表 的 表 结构 时 ， 需 要 复制 一 份 数据 ， 所 以 要 留意 空间 是 否 足够 。 


MySQL 5.5 提 供 了 更 多 的 在 线 修改 表 结 构 的 功能 ，InnoDB 也 支持 通过 排序 的 方式 来 创建 索引 ， 而 之 前 的 MySQL 5.1 是 以 逐 行 插入 数据 的 方式 创建 索引 的 。 但 是 ， 相 对 于 一 些 NoSQL 产 品 ，MySQL 在 线 


DDL 的 能 力 还 是 比较 弱 的 ， 需 要 尽量 小 心地 避免 修改 大 表 结 构 。 在 MySQL 5.6 版 本 中 ， 官 方 更 进 了 一 步 ， 增 强 了 很 多 ALTER TABLE 操 作 ， 并 尽量 避免 了 复制 整 张 表 的 数据 。 在 修改 表 结构 的 同时 ， 人 允许 


SELECT、INSERT、UPDATE、DELETE 语 句 继续 执行 ， 这 种 特性 也 称 为 在 线 DDL (online DDL) 。 


如 果 因 为 更 改 表 结 构 而 导致 的 写 阻塞 ， 那 么 有 什么 办 法 可 以 减轻 或 避免 呢 ? Percona 工 
可 以 把 数据 库 升 级 到 MySQL5.6， 从 而 利用 其 在 线 修改 表 结构 的 特性 。 


“online schema change” 可 以 做 到 在 线 修改 表 结 构 而 不 阻塞 服务 。M-M 架 构 也 可 以 进行 变通 解决 。 或 者 你 


变更 数据 或 导入 数据 的 时 候 ， 需 要 留意 该 操作 对 生产 的 影响 ， 应 该 控制 记录 更 新 的 频率 ， 平 均 分 布 生产 负荷 。 对 于 不 同 的 硬件 ， 具 体 控制 的 写 入 频率 也 应 不 同 ， 对 于 普通 的 SAS 硬 盘 ， 建 议 控制 在 每 秒 


小 于 200 条 记录 ; 对 于 SSD， 由 于 IOPS 大 大 提高 ， 因 此 每 秒 控制 在 500~1000 条 记录 也 是 可 以 的 。 实 际 更 新 数据 的 频率 还 取决 于 生产 系统 的 繁忙 程度 ， 以 及 对 缓存 的 影响 ， 更 新 数据 有 一 个 原则 ， 那 就 是 如 果 


不 赶 时 间 ， 那 么 慢 一 些 会 更 安全 。 


变更 数据 可 能 会 导致 从 库 延 时 较 长 ， 如 果 从 库 也 提供 生产 服务 ， 那 么 需要 留意 延 时 的 影响 。 平 均 分 布 负荷 ， 将 修改 或 导入 数据 的 操作 切割 为 更 小 的 单元 ， 可 以 缓解 延 时 。 


对 于 导入 大 量 数 据 的 操作 ， 我 们 可 能 难以 判断 导入 的 进度 ， 可 以 大 致 估算 下 磁盘 的 空间 ， 估 计 目 前 的 进度 和 剩余 的 时 间 ， 例 如 如 下 命令 。 


[mysql@db1000]$ du -sh ;sleep 3600;du -sh 


以 上 命令 可 以 查看 空间 增长 ， 了 解 大 概 导入 了 多 少数 据 。 


有 了 时， 我 们 希望 利 


制 架构 实现 平滑 更 改 大 表 的 表 结 构 ， 即 ， 我 们 先 在 从 库 上 更 改 完 大 表 结 构 ， 把 数据 库 流量 切换 到 从 库 ， 然 后 再 更 改 主 库 的 表 结 构 ， 再 把 数据 库 流量 切换 回来 ， 注 意 ， 在 操作 


从 库 和 主 库 之 前 我 们 需要 在 会 话 (session) 中 运行 Set sql_bin_log=0。 具 有 SUPER 权 限 的 客户 端 可 以 通过 SET sql log_bin=0 的 语句 禁止 将 自己 的 语句 记 入 二 进 制 记录 。 这 样 就 不 会 在 修改 大 表 结 构 时 对 它 


的 从 库 造成 影响 。 


13.1.2 MySQL 版 本 升级 


MySQL 的 版 本 升级 ， 需 要 考虑 许多 因素 ， 如 果 是 大 版 本 的 升级 ， 建 议 首先 仔细 研读 官方 的 升级 文档 ， 因 为 可 能 会 有 一 些 细节 并 不 包含 在 常用 的 步骤 之 内 。 如 下 是 升级 的 注意 事项 。 


“ 升级 前 应 仔细 阅读 官方 的 升级 文档 。 


“ 升级 后 ， 应 再 重启 以 确认 是 否 正常 。 


兼容 性 更 高 。 


“ mysqldump 备 份 的 转 储 文件 可 用 于 升级 。 由 mysqldump 导 出 来 的 转 储 文件 ， 相 对 于 物理 文件 形式 的 备份 来 说 ， 


使 用 转 储 文件 升级 的 步骤 大 致 是 : 先 用 mysqldump 把 数据 导出 来 ， 备 份 权限 ， 然 后 升级 MySQL 代 码 ， 并 运行 mysqld_upgrade 脚 本 进行 升级 ， 然 后 导入 转 储 文件 ， 恢 复权 限 信息 。 如 果 是 从 库 ， 那 么 


需要 在 升级 前 停止 复制 ， 升 级 后 恢复 同步 。 一 般 情 况 下 不 需要 导入 MySQL 系 统 库 ， 因 为 新 版 本 的 mySQL 系 统 库 可 能 会 有 结构 上 的 变更 ， 如 果 一 定 要 导入 MySQL 数 据 库 ， 则 要 记得 使 用 FLUSH PRIVILEGES 
生效 权限 ， 并 使 用 mysql_upgrade 进 行 修复 。 


“ 主 从 架构 升级 的 话 ， 


应 先 升级 从 库 ， 从 库 高 于 主 库 一 般 是 可 行 的 ， 反 之 则 可 能 出 问题 。 


“ 不 要 跨越 大 版 本 进行 升级 ， 比 如 ，4.1 升 级 到 5.0 是 正确 的 策略 ， 其 他 跳 过 版 本 的 升级 可 能 会 有 问题 ， 如 果 升 级 4.0 到 5.1， 那 么 合适 的 策略 是 按照 4.0 一 4.1 一 5.0 一 5.1 这 样 的 顺序 进行 升级 。 


2 


关闭 MySQL 实 例 ， 
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如 下 是 升级 的 具体 步骤 举例 ， 可 供 读者 参考 。 


1) 如 是 主 从 架构 ， 则 先 升级 从 库 。 


并 确认 已 经 停止 了 服务 。 


3) 备份 并 删除 MySQL 旧 版 本 。 注 意 ， 不 要 误 删 除了 数据 。 


5) 运行 mysqld_upgrade 脚 本 升级 。 如 果 是 主 库 ， 可 禁用 二 进 制 日 志 写 入 (skip-write-binlog) 。 


bin/mysql upgrade -uroot -ppassword -S /path/to/mysql.sock --skip-write-binlog 


6) 确认 升级 成 功 ， 重启 MySQL,， 确认 MySQL 启 动 正常 。 


13.2 ”新 业务 部 署 上 线 


新 业务 上 线 会 涉及 相关 的 其 他 团队 ， 这 里 仅 做 简单 的 描述 ， 作 为 DBA， 必 须 做 到 如 下 的 一 些 步 又 。 


首先 ， 我 们 需要 检查 数据 库 服务 器 ， 并 配置 好 主 从 环境 。 


其 次 ， 我 们 要 确认 监控 、 备 份 、 收 集 信 息 的 策略 是 否 已 经 实现 。 


然后 ， 执 行 SQL 脚本 部 署 新 数据 库 和 初始 化 数据 ， 如 有 遗留 的 测试 数据 ， 请 务必 先 清理 掉 。 


最 后 ， 配 合 其 他 团队 调试 并 上 线 ， 上 线 后， 还 需要 观察 一 段 时 间 。 


13.3 迁移 


13.3.1 迁移 步骤 


一 般 迁 移 数据 库 时 有 如 下 4 个 步骤 。 


(1) 迁移 数据 库 策略 的 制定 


确定 迁移 前 后 的 架构 和 物理 部 署 的 变化 、 迁 移 的 方法 、 迁 移 的 时 间 、 使 用 的 迁移 工具 、 迁 移 的 风险 、 迁 移 的 回 滚 策略 等 。 


安装 新 版 本 MySQL， 并 启动 新 版 本 ， 确 认 数据 能 正常 加 载 。 为 了 使 数据 更 安全 ， 可 以 配置 启动 时 不 开启 复制 ， 对 于 小 版 本 的 升级 ， 不 停止 复制 一 般 也 不 会 有 问题 。 


如 果 迁 移 数据 是 完全 通过 应 用 程序 来 实现 数据 迁移 的 ， 那 么 DBA 人 往往 不 需要 进行 任何 操作 ， 需 要 做 的 事情 主要 是 监控 迁移 过 程 中 数据 库 负 荷 的 变化 。 


比较 常见 的 迁移 数据 库 的 方式 是 ，DBA 在 新 的 数据 库 主 机 上 部 署 新 的 基础 环境 ， 例 如 ， 我 们 有 A、B 一 对 数据 库 主 从 ， 


因为 A、B3 


机 的 磁盘 空间 不 够 ， 我 们 需要 将 数据 库 迁 移 到 C、D 主 机 ， 然 后 在 C、D 


主机 上 部 署 一 对 数据 库 主 从 。 接 着 通知 应 用 服务 器 的 运 维 工程 师 修改 应 用 程序 的 数据 库 配 置 文件 指向 新 的 数据 库 主 机 C， 最 


后 ， 运 维 工 程 师 重启 应 用 程序 ， 实 现 对 数据 库 的 切换 。 


一 些 公司 ， 实 现 了 中 间 件 ， 数 据 库 流量 都 通过 Proxy， 然 后 到 达 后 端的 MySQL， 此 类 数据 库 流量 的 切换 一 般 都 比较 简单 ， 只 需要 在 平台 上 修改 数据 库 流量 的 指向 ， 指 到 其 他 的 数据 库 主机 即 可 。 


我 们 这 里 讨论 的 主要 是 另 一 种 情况 ， 即 通过 修改 应 用 服务 器 配置 文件 ， 或 者 通过 修改 内 网 DNS 的 方式 将 数据 库 流量 切换 到 新 的 数据 库 主机 。 


(2) 确定 迁移 数据 库 的 具体 步骤 


细 化 迁移 的 步骤 ， 预 估 各 个 步骤 所 需要 的 时 间 。 我 介 


(3) 迁移 数据 库 ， 并 检查 


实际 操作 中 ， 应 该 严格 按照 拟定 步骤 的 顺序 来 执行 ， 尽 量 做 到 做 完成 一 项 ， 确 认 一 项 。 


(4) 迁移 后 的 处 理 


迁移 后 ， 要 注意 清理 废旧 的 环境 ， 对 新 环境 进行 完善 监控 ， 必 须要 留 出 足够 的 人 力 和 时 间 用 于 观察 。 


对 于 切换 、 迁 移 数据 库 ， 有 如 下 一 些 注意 事项 。 


1) 切换 前 检查 新 旧 服 务 器 的 软 硬 件 配置 和 网 络 配置 。 


常见 的 检查 项 目 有 RA 


] 不 仅 要 考虑 实际 操作 的 时 间 ， 也 需要 考虑 确认 的 时 间 ， 预 留 处 理 异 常 的 时 间 。 基 础 环境 的 准备 可 以 预先 完成 ， 并 且 添 加 必要 的 监控 。 


D 卡 、 磁 盘 阵列 、CPU、MySQL 版 本 、 变 量 和 参数 文件 的 差异 、 网 络 、 防 火 墙 配置 等 ， 可 以 


检测 参数 文件 的 差异 ， 还 可 以 检测 实际 变量 和 参数 文件 之 间 的 差异 。 


PerconaI. 


pt-config-diff 检 测 来 对 比 迁移 前 后 新 旧 主 机 参数 的 差异 ， 它 不 仅 可 以 


我 们 需要 关注 的 参数 主要 是 连接 数 、 字 符 集 、 内 存 参数 、 步 长 和 偏 移 量 、 事 务 隔离 级 别 、 日 志保 留 策略 、 是 否 只 读 、server_id 等 。 保 持 主 从 软 硬 件 的 基础 环境 和 配置 的 一 致 性 ， 可 以 让 你 后 期 的 维护 更 


简单 。 需 要 留意 的 是 ， 应 
即 可 。 


程序 的 逻辑 不 应 该 依赖 于 参数 文件 ， 比 如 应 用 程序 的 逻辑 不 能 只 依赖 于 偏 移 量 、 步 长 等 参数 。 


从 库 的 参数 配置 最 好 一 致 ， 这 样 部 署 一 个 新 的 从 库 时 ， 就 只 需要 修改 下 server-id 


2) 主 从 库 的 权限 设置 应 该 一 致 。 由 于 数据 库 的 服务 器 一 般 处 于 内 网 ， 没 有 外 网 |P， 相 对 来 说 比较 安全 ， 那 么 建议 不 要 对 权限 设置 得 过 细 ， 否 则 迁移 环境 时 ， 还 需 


3) 如 果 是 新 搭建 的 主 从 环境 ， 需 


确认 主 从 库 同 步 是 否 正常 ， 可 以 使 


SHOW SLAVE STATUS 命令 : 


进行 确认 。 


4) 如 果 是 主 从 复制 架构 ， 则 需要 把 数据 库 流 量 切 换 到 从 库 ， 需 要 在 切换 前 记录 从 库 的 SHOW MASTER STATUS 信息 。 


5) 
主 库 和 从 库 的 情况 。 为 了 安全 ， 我 们 可 能 不 得 不 把 


应 


程序 切换 数据 库 流量 时 ， 需 要 防范 数据 库 同时 写 入 主 从 库 的 可 能 性 。 如 果 我 们 有 多 人 台 应 


库 设 置 成 只 读 。 需 要 注意 的 是 ， 只 读 的 设置 对 于 Super 权 限 的 连接 用 户 是 无 效 的 。 丸 


发 生 了 主键 冲突 ， 可 以 考虑 忽略 部 分 数据 或 重 做 从 库 。 


服务 器 ， 可 以 临时 关闭 大 部 分 应 


服务 器 ， 仅 留 下 一 台 应 


[0 果 同 时 写 入 寺 


E 库 、 从 库 ， 可 能 会 有 3 


考虑 修改 权限 ， 而 DBA 很 可 能 会 忽视 


服务 器 ， 这 样 重启 时 ， 就 不 会 发 生 同时 写 入 
FE 键 冲突 ， 从 而 影响 复制 ， 如 果 


6) 对 于 数据 库 流量 的 切换 ， 需 要 运行 命令 确认 切换 是 否 成 功 ，SHOW PROCESSLIST、SHOW MASTER STATUS、SHOW SLAVE STATUS\G 等 命令 可 以 协助 你 确认 信息 。 我 们 还 可 以 用 tcpdump 或 


iptables 命 令 判断 是 否 还 有 流量 访问 


7) 旧 的 数据 库 如 果 已 经 不 再 使 


部 署 的 备份 脚本 。 


8) 尽量 在 迁移 前 就 部 署 好 监控 ,迁移 后 ， 
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由 于 长 连接 往往 缓存 了 数据 库 IP， 
们 更 改 数据 库 路 由 时 ， 比 如 ， 更 改 了 数据 库 配置 文件 ， 或 者 更 改 了 


如 果 是 Nginx+fpm+PHP 的 部 署 ， 和 


短 连 接 可 能 也 会 缓存 对 数据 库 的 访问 
配置 文件 中 存储 的 是 主机 


Java 服 务 器 默认 也 缓存 了 DNS 结果 ， 你 可 以 将 其 设置 为 禁止 缓存 ， 但 很 少 有 人 这 么 做 ， 所 以 更 改 了 内 


现实 中 ， 不 同 的 应 


.2 ”切换 数据 库 时 长 短 连 接 的 影响 


日 的 数据 库 端口 。 


， 则 必须 及 时 清理 和 删除 数 


因此 需要 


二 


名 ， 那 么 更 改 /etc/hosts 可 


b 么 PHP 进 程 数 x 主机 


IP， 比 如 ，PHP 应 


居 。 如 果 已 经 不 需要 同步 关系 ， 则 请 务必 及 时 清理 掉 同 步 关 系 ， 以 免 误 操作 数 


服务 器 才能 实现 对 数据 库 访问 的 变更 。 以 Nginx+ PHP+fpm 为 例 ， 当 我 们 使 有 
内 网 DNS， 我 们 需要 重启 php-fpm 管 理 器 才能 生效 。 


需要 检查 各 项 的 状态 信息 、 性 能 收集 、 备 份 、 监 控 是 否 完备 。 


数 = 实际 的 长 连接 数 。 如 果 查 询 缓慢 则 会 导致 所 有 


员 ， 同 步 了 生产 库 。 如 果 将 从 库 提升 为 


E 库 ， 则 需要 停止 从 库 


的 PHP 进 程 都 无 法 处 理 


,使 


短 连 接 访问 数据 库 ， 配 置 文件 内 存储 的 数据 库 实 例 的 DNS 域名 ,多 


能 会 无 效 ， 


启动 应 用 服务 器 。 


因 


为 主机 名 被 缓存 了 ， 我 们 仍然 需要 重新 


13.4 ”生产 环境 常用 的 备份 策略 


为 什么 我 们 需要 备份 呢 ? 


服务 器 可 能 会 有 不 同 的 行为 ， 所 以 我 们 


需要 了 解 ， 在 更 改 了 数据 库 配置 文件 之 后 ， 我 们 的 应 


网 DNS， 或 者 更 改 了 配置 文件 内 的 数据 库 I|P， 也 需要 重启 java 服务 器 。 


备份 的 主要 目的 是 为 了 灾难 恢 


， 备 份 还 可 以 


于 测试 应 


之 前 我 们 在 其 他 章节 已 经 讨论 了 备份 的 一 些 方式 和 工具 


的 使 


方式 。 


如 果 是 拥有 大 规模 数据 库 集群 的 公司 ， 你 可 能 需要 专门 规划 


策略 ， 以 应 对 大 量 数据 库 的 备份 。 


13.4.1 


是 否 可 以 接受 部 分 功能 不 可 


表 ， 


备份 策略 


我 们 需要 制订 备份 策略 并 文档 化 。 我 们 需要 考虑 许多 


我 们 推荐 在 从 库 上 进行 备份 ， 


对 于 数据 量 大 的 备份 ， 每 次 所 


对 于 负荷 比较 小 的 业务 ， 你 也 可 以 选择 在 3 


执 


方法 ， 本 节 将 从 生产 运 维 的 角度 介绍 备份 策略 的 制订 。 由 于 生产 环境 一 般 是 3 


、 回 滚 数据 修改 、 查 询 历史 数据 、 审 计 等 。 


从 架构 ， 


服务 器 是 否 需 要 重新 启动 才能 生效 。 


fpm 来 管理 PHP 进 程 时 ，MySQL 长 连接 缓存 了 访问 数据 库 的 |P; 当 我 
其 他 的 请 求 ， 因 为 PHP 进 程 需要 等 待 数据 库 的 响应 。 
果 更 改 了 内 网 DNS， 那 么 无 须 重新 启动 服务 即 可 生效 ， 但 如 果 数 据 库 


此 本 书 将 基于 这 种 架构 ， 阐 述 备份 的 一 些 策略 和 


因素 ， 比 如 ， 数 据 的 重 


程度 、 是 否 需 


备份 服务 器 应 该 视 为 与 生产 服务 器 一 样 


， 甚 至 更 重要 。 


备份 文件 应 该 和 数据 库 主 机 物理 分 开 ， 可 以 选择 FTP 上 传 或 


也 可 以 使 


我 们 


Cat /etc/rc.local 


NFS 挂 载 文 件 系 统 的 方式 进行 远程 备份 ， 如 下 是 挂 载 远 程 文件 系统 的 一 个 例子 。 


时 间 点 恢复 、 数 据 量 的 大 小 、 是 否 有 法 得 
及 其 他 一 些 因素 。 一 般 常 见 的 方式 是 每 天 选择 负荷 小 的 时 间 段 进行 备份 ， 然 后 将 备份 保留 一 段 时 间 。 


E 库 上 进行 备份 ， 前 提 是 不 影响 生产 负荷 。 


作 一 个 全 量 从 库 的 代价 可 能 会 很 大 ， 定 期 全 量 备份 ， 然 后 再 进行 增 量 备份 ， 是 值得 考虑 的 方法 。 


他 网 络 传输 方式 把 备份 文件 保留 在 独立 的 备份 服务 器 上 。 


规定 要 保留 多 久 、 需 要 多 久 恢 复 、 


mount -t nfs -Oo rw,bg,hard,nointr,rsize=4194304,wsize=4194304, tcp, vers=3,timeo=600, noac 11.11.11.11:/home/nfs dir /home/mysql/nfs_ from db1000 


因 


写 入 /etc/rc.local 的 原 


需要 留意 到 是 , 使 


我 们 应 该 制定 完善 的 数据 保留 策略 ， 有 日 备份 、 周 备份 、 月 备份 、 季 备份 ， 原 则 上 ， 最 近 的 备份 应 该 每 天 都 保留 ， 随 着 时 间 跨 度 的 增长 ， 我 们 可 以 保留 更 少 的 备份 。 


冷 备份 。 


而 不 使 ix 
性 。 


一 般 我 们 使 
这 点 很 可 能 会 影响 到 


热 备份 ， 
服务 的 可 


13.4.2 备份 建议 


如 下 是 一 些 备份 的 建议 。 


“ 对 于 很 大 的 数据 库 ， 物 理 备份 更 适合 。 


是 希望 在 系统 启动 时 挂 载 。rsize、wsize 参 数 的 默认 值 都 比较 小 ， 可 以 适当 


大 。 注 意 要 使 用 sync 的 方式 ， 不 要 使 


async 的 方式 进行 挂 载 


NFS 的 方式 可 能 不 够 稳定 ， 而 


NFS 的 方式 ， 还 有 潜在 的 安全 风险 ,但 


客户 端 是 一 个 串 行 的 机 制 ， 无 法 提高 吞吐 ， 使 


“Hot 


的 本 意 是 不 用 关闭 MySQL 服 务 ， 不 影响 服务 。 由 于 InnoDB 支 持 在 线 热 备 份 ， 所 以 建议 都 使 


由 


于 NFS 简 单方 便 ， 所 以 还 是 有 许多 人 在 使 


户 可 以 接受 多 久 恢 复 、 


行 数据 库 备份 的 机 器 和 海量 分 布 式 文件 系统 ， 以 存储 备份 ， 你 可 能 还 需要 有 专门 的 检测 系统 、 调 度 系统 、 恢 复 测试 系统 、 预 警 系统 和 保留 


InnoDB 引 擎 。 而 MylSAM 引 警 进 行 备份 


的 时 候 必须 锁 


对 于 小 数据 库 ， 用 逻辑 备份 mysqldump 就 可 以 了 ， 这 样 也 简单 ; 对 于 非常 大 的 数据 库 ， 逻 辑 备份 恢 复 得 太 慢 ， 可 能 会 出 错 ， 建 议 选择 物理 备份 。 由 于 大 数据 库 每 天 全 备 成 本 太 高 ， 使 用 增 量 备份 或 保留 
副本 也 许 是 更 好 的 选择 。mysqldump 进 行 远程 备份 的 时 候 ， 需 要 确保 网 络 的 稳定 性 ， 如 果 备 份 的 时 间 比 较 长 ， 而 网 络 又 不 太 稳定 ， 则 可 能 会 由 于 网 络 波动 而 导致 备份 失败 ， 增 加 备份 的 重 试 机 制 或 先 备 份 到 
本 地 ， 再 上 传 或 同步 到 其 他 服务 器 会 更 好 。 


“ 我 们 应 该 按 重要 程度 保留 多 个 备份 。 
“ 我 们 应 定期 提取 备份 验证 ， 衡 量 恢复 所 需要 的 资源 ， 以 及 恢复 的 速度 和 效果 。 


“ 主 库 应 该 启用 二 进 制 日 志 。 


主 库 应 该 启用 二 进 制 日 志 ， 以 便 搭建 从 库 ， 做 时 间 点 恢复 。expire_logs_days 参 数 至 少 要 跨越 2~3 个 备份 ; 
“ 在 从 库 中 启用 log_slave_updates， 如 果 没 有 启用 ， 则 应 考虑 是 否 备份 主 库 上 的 二 进 制 日 志 。 
“ 监视 你 的 备份 和 备份 过 程 。 


“ 应 该 考虑 备份 文件 的 安全 。 


13.5 ”常用 备份 方式 和 恢复 方法 


MySQL 的 备份 方式 可 以 分 为 物理 备份 和 逻辑 备份 两 种 ， 物 理 备 份 主要 是 通过 备份 数据 文件 ， 以 快照 的 方式 进行 备份 ， 如 果 我 们 使 用 了 LVM 或 一 些 存储 系统 ， 那 么 快照 将 是 最 方便 的 方式 。 备 份 数据 文件 
或 快照 往往 可 以 更 快 地 备份 和 恢复 。 


本 节 主 要 讲述 在 操作 系统 下 备份 数据 文件 或 逻辑 备份 ， 对 于 快照 方式 不 进行 叙述 ， 大 家 可 以 参考 LVM 或 存储 系统 做 快照 的 一 些 技术 。 


常用 的 备份 工具 有 mysqldump 和 Percona XtraBackup。mysqldump 是 官方 自 带 的 一 种 逻辑 备份 工具 ， 它 的 兼容 性 很 好 ， 与 版 本 无 关 ， 恢 复 起 来 更 方便 ， 没 有 理由 不 使 用 它 。 一 般 小 公司 ， 生 产 环境 
大 都 是 用 mysqldump 进 行 备份 的 。Percona XtraBackup 是 Percona 公 司 提供 的 工具 ， 对 于 备份 大 数据 很 有 效 。 


13.5.1 ”使 用 dd 备份 和 恢复 数据 


使 用 dd 备份 数据 是 传统 的 办 法 ， 虽然 现 在 已 经 用 得 很 少 。 


如 下 是 一 些 备份 的 例子 。 


1) 将 本 地 的 /dewhdx 整 盘 备份 到 /dewWhdy。 


dd if=/dev/hdx of=/dev/hdy 


2) 备份 /dev/hdx 全 盘 数 据 ， 并 利用 gzip 工 具 进 行 压缩 ， 保 存 到 指定 路 径 。 


dd if=/dev/hdx | gzip >/path/to/image.gz 


3) 将 备份 文件 恢复 到 指定 盘 。 


dd if=/path/to/image of=/dev/hdx 


4) 将 压缩 的 备份 文件 恢复 到 指定 盘 。 


gzip -dc /path/to/image.gz | dd of=/dev/hdx 


5) 将 光盘 数据 复制 到 root 文 件 夹 下 ， 并 保存 为 cd.iso 文 件 。 


dd if=/dev/cdrom of=/root/cd.iso 


13.5.2 ”使 用 mysqldump 备 份 和 恢复 数据 


mysqldump 这 个 命令 在 之 前 的 章节 里 已 经 有 过 许多 讲述 ， 对 于 普通 数据 的 备份 ， 这 里 将 不 再 袭 述 。 我 们 一 般 使 用 如 下 命令 备份 整 库 。 


mysqldump --databases db name > db name.sql 


使 用 如 下 命令 恢复 数据 。 


mysql db name < db _name 


或 者 可 以 使 用 source 命 令 来 执行 。 


mysql > source /path/to/db name.sql 


生产 环境 中 一 般 为 主 从 配置 ， 那 么 我 们 一 般 会 在 从 库 上 配置 备份 脚本 ， 进 行 定时 备份 。 如 下 是 一 个 使 用 mysqldump 备 份 的 示例 。 


mysqldump --flush-logs --master-data=2 --hex-blob -R -E -f --all-databases 2>> /path/to/log | gzip > sql.name.gz 


对 于 InnoDB 备 份 ， 我 们 可 以 加 上 --single-transaction， 实 现 无 阻塞 备份 。 生 产 环 境 一 般 在 从 库 中 进行 备份 ， 那 么 我 们 还 可 以 把 复制 SQL 线程 临时 关闭 以 进行 备份 。 


有 时 我 们 需要 指定 字符 集 参 数 进行 备份 ， 如 在 MySQL 5.5 及 以 上 的 版 本 中 ， 如 果 你 使 用 了 utf8mb4 字 符 集 ， 那 么 需要 添加 参数 --default-character-set=utf8mb4。 


出 数据 而 不 是 中 途 退 出 。 


在 MySQL 5.6 中 ， 由 于 安全 性 的 需要 ， 你 需要 把 备份 账号 的 密码 保存 在 配置 文件 中 或 MYSQL_PWD 环 境 变量 内 ， 比 如 ， 你 可 以 在 脚本 里 执行 export MYSQL_ PWD=your_password。 


我 们 需要 留意 其 他 一 些 数据 的 备份 ， 比 如 视图 、 存 储 过 程 、 触 发 器 和 事件 。 


由 于 视图 有 依赖 ， 如 果 基础 表 不 存在 或 没有 权限 ， 那 么 视图 的 导出 将 会 失败 ， 而 且 会 导致 mysqldump 命 令 的 退出 ， 为 了 避免 无 效 视图 导致 备份 库 失败 ， 我 们 可 以 在 导出 的 时 候 ， 添 加 一 个 参数 -f 强 制导 


对 于 mysqldump 的 备份 ， 需 要 检查 其 输出 ， 检 查 是 否 有 错误 或 警告 ， 正 常备 份 结束 后 ， 应 该 有 “Dump completed on” 字 样 ， 我 们 可 以 使 用 --result-file 参 数 保存 mysqldump 结 果 。 


对 于 报警 或 错误 的 信息 ， 我 们 需要 及 时 处 理 ， 比 如 视图 中 引用 了 不 存在 的 表 。 在 我 们 导入 视图 之 前 ， 需 要 处 理 好 基 表 不 存在 的 问题 。 


存储 过 程 、 视 图 、 触 发 器 的 导出 信息 里 可 能 带 有 DEFINER 信 息 ， 在 导入 的 时 候 ， 因 为 目的 库 中 并 不 存在 相应 的 用 户 信息 或 缺少 权限 ， 因 此 我 们 需要 把 DEFINER 信 息 批 量 蔡 换 成 合适 的 用 户 。 如 果 不 指 定 


DEFINER 信 息 ， 那 么 系统 会 自动 使 用 默认 的 用 户 。 


如 下 是 一 个 导出 存储 过 程 的 例子 。 


mysqldump -uroot -S /path/to/tmp//3306/mysql.sock -p -td -R --triggers=false db name > db name procedure.sql 


如 下 是 一 个 导出 触发 器 的 例子 。 
mysqldump -uroot -S /path/to/tmp//3306/mysql.sock -p -td db name > db name trigger.sql 


如 下 例子 将 仅 导 出 数据 ， 而 不 包括 存储 和 触发 器 。 


mysqldump -uroot -S /path/to/tmp//3306/mysql.sock -p --triggers=false db name > db name data.sql 


入 视图 、 导 入 触发 器 和 导入 数据 类 似 。 但 导入 触发 器 时 ， 需 要 先 删 除数 据 库 中 原 有 的 触发 器 。 由 于 导出 触发 器 的 转 储 文件 里 没有 DROP TRIGGIER 语 句 ， 因 此 我 们 需要 手动 生成 DROP TRIGGER 的 语 


句 ,命令 如 下 。 
SELECT TRIGGER SCHEMA,TRIGGER NAME,DEFINER FROM information schema.triggers; 
select concat ('drop trigger ', TRIGGER NAME, ;1) into outfile '/tmp/drop trigger.sql' from information schema.triggers where TRIGGER SCHFEMA='db name'; 
在 MySQL 5.1 版 本 中 ， 如 果 运 行 FLUSH LOGS 命 令 ， 会 把 我 们 的 MySQL 错 误 日 志清 除 掉 ， 并 备份 到 一 个 文件 ， 但 是 如 果 多 次 FLUSH LOGS， 就 难以 追踪 错误 信息 了 ， 因 为 有 用 的 信息 都 被 过 滤 掉 了 。 
如 果 是 mysqldump 带 --all-database 选 项 ， 那 么 每 备份 一 个 数据 库 ， 就 会 切换 一 次 日 志 (FLUSH LOGS) 。 
如 果 是 带 --lock-all-tables 选 项 ,或 者 是 --master-data 选 项 ， 那 么 仅 需 要 切换 一 次 日 志 ， 而 且 在 这 个 时 刻 ， 所 有 表 都 会 被 锁 住 。 
另外 ， 对 于 二 进 制 日 志 的 导出 ， 需 要 添加 一 个 hex-blob 选 项 。 
13.5.3 ”使 用 Percona XtraBackup 备 份 和 恢复 数据 


1. 概 述 


Percona XtraBackup 是 一 个 免费 的 MySQL 热 备份 软件 ， 支 持 在 线 热 备份 InnoDB 和 XtraDB， 也 可 以 支持 MylISAM 表 的 备份 ， 不 过 MylSAM 表 的 备份 需要 在 锁定 表 的 情况 下 进行 。 本 书 对 于 Percona 


XtraBackup 的 叙述 是 基于 2.2 版 本 的 。 读 者 实际 使 用 此 工具 时 ， 请 参考 相关 版 本 的 官方 帮助 文档 。 


Percona XtraBackup 有 3 个 主要 的 工具 : xtrabackup、innobackupex、xbstream。 它 们 的 特点 分 别 如 下 。 


1) xtrabackup: 是 一 个 编译 了 的 C 二 进 制 文件 ， 只 能 备份 InnoDB/XtraDB 数 据 。 


2) innobackupex: 是 一 个 封装 了 xtrabackup 的 Perl 肢 本， 除了 可 以 备份 IhnoDB/XtraDB 之 外 ， 还 可 以 备份 MylSAM。 


3) xbstream: 是 一 个 新 的 组 件 ， 能 够 允许 将 文件 转 成 xbstream 格 式 或 从 xbstream 转 到 文件 格式 。 


你 可 以 单独 使 用 xtrabackup 工 具 ， 但 是 我 们 推荐 用 innobackupex 来 进行 备份 ， 因 为 innobackupex 本 身 就 已 经 包含 了 xtrabackup 的 所 有 功能 。 


xtrabackup 是 基于 InnoDB 的 灾难 恢复 功能 进行 设计 的 ， 备 份 工具 复制 InnoDB 的 数据 文件 (datafile) ， 但 是 ， 由 于 不 锁 表 ， 这 样 复制 出 来 的 数据 就 会 不 一 致 。InnoDB 维 护 了 一 个 重 做 日 志 ， 包 含 


InnoDB 数 据 的 所 有 改动 情况 。 在 xtrabackup 备 份 InnoDB 的 数据 同时 ，xtrabackup 还 有 另外 一 个 线程 监视 着 重 做 日 志 ， 一 旦 日 志 发 生变 化 ， 就 把 发 生 了 变化 的 日 志 块 复制 走 。 这 样 就 可 以 利用 此 重 做 日 志 
做 灾难 恢复 了 。 


中 | 
是 | 


以 上 是 备份 过 程 ， 如 果 我 们 需要 恢复 数据 ， 则 在 准备 (prepare) 阶段 ，xtrabackup 就 需要 使 用 之 前 复制 的 重 做 日 志 对 备份 出 来 的 InnoDB 数 据 文 件 进行 灾难 恢复 ， 此 阶段 完成 之 后 ， 数 据 库 就 可 以 进行 


建 还 原 了 。 


Percona XtraBackup 对 MylSAM 的 复制 ， 是 按 这 样 的 一 个 顺序 进行 的 : 先 锁定 表 ， 然 后 复制 ， 再 解锁 表 。 


2.Percona XtraBackup 的 安装 和 部 署 


在 http://www.percona.com/downloads/XtraBackup/LATEST/ 上 可 以 下 载 最 新 的 Percona XtraBackup 二 进 制 包 。 


直接 解压 可 以 看 到 有 两 个 目录 ， 其 中 ，bin 目 录 就 是 存放 之 前 说 过 的 备份 工具 ，share 目 录 存 放 着 Percona XtraBackup 的 测试 脚本 。 


这 里 解释 bin 目 录 中 各 个 文件 的 意义 。 


除了 之 前 说 过 的 3 个 工具 innobackupex、xtrabackup、xbstream 之 外 ， 我 们 还 可 以 看 到 几 个 之 前 没有 提 到 过 的 文件 ， 它 们 分 别 是 xtrabackup_51、xtrabackup_55、xtrabackup_56。 


这 是 Percona XtraBackup 为 了 保证 对 InnoDB 发 行 版 的 有 效 兼容 而 采取 的 一 种 人 性 化 的 做 法 。 下 面 来 看 看 这 些 命令 的 作用 范围 ， 如 表 13-1 所 示 。 


表 13-1 xtrabackup 的 兼容 性 


xtrabackup binar xtrabackup binar 
Server (适用 的 MySQL 版 本 ) pr Server (适用 的 MySQL 版 本 ) ep 

MySQL 5.1.* xtrabackup 51 MariaDB 5.5.* xtrabackup_ 55 
MySQL 5.1.* with InnoDB plugin xtrabackup MariaDB 10.0.* xtrabackup_ 56 
MySQL 5.5.* xtrabackup_55 Percona Server 5.0 xtrabackup 51 
MySQL 5.6.* xtrabackup 56 Percona Server 5.1 xtrabackup 
MariaDB 5.1.* xtrabackup Percona Server 5.5 xtrabackup 55 
MariaDB 5.2.* xtrabackup Percona Server 5.6 xtrabackup_56 
MariaDB 5.3.* xtrabackup 


innobackupex 的 备份 过 程 中 ， 会 生成 一 些 文件 ， 如 下 是 一 些 生成 的 文件 。 


“ xtrabackup_checkpoints: 此 文件 包含 了 LSN 号 与 备份 类 型 。 此 文件 被 用 于 增 量 备份 恢复 。 
' xtrabackup_binlog info: 此 文件 记录 了 备份 时 刻 二 进 制 日 志 的 位 置 ， 即 SHOW MASTER STATUS 的 结果 。 
“ backup-my.cnf: 此 文件 仅仅 记录 了 备份 所 需 的 my.cnf 中 的 选项 ， 它 并 不 是 my.cnf 的 备份 。 恢 复 的 时 候 ， 需 要 确认 目的 地 的 配置 文件 也 要 与 这 个 文件 记录 的 一 致 。 


' xtrabackup_binlog_pos_innodb: 此 文件 记录 了 备份 时 刻 InnoDB 的 二 进 制 日 志 的 位 置 。 


“xtrabackup_slave_info: 当 使 用 --slave-info 选 项 在 从 库 进行 备份 时 ， 将 会 记录 CHANGE MASTER 语句， 以便 日 后 用 于 搭建 新 的 从 库 。 也 就 是 说 它 记 录 了 我 们 正在 备份 的 从 库 的 SHOW SLAVE STATUS\G 
里 的 Relay_Master_ Log_File 和 Exec_Master_ Log_Pos 的 值 。 以 便 于 我 们 在 这 个 从 库 的 基础 上 ， 为 主 库 搭 建 其 他 从 库 。 


其 他 文件 略 。 


3. 如 何 全 备 


以 下 是 一 个 全 备 的 例子 ,命令 中 ，$day_backup_dir 是 我 们 保存 备份 的 目录 。$bak _file 是 我 们 的 最 终 备 份 文件 。 由 于 数据 量 很 大 ， 因 此 我 们 最 好 使 用 管道 输出 到 pigz 压 缩 命令 ， 进 行 压缩 。pigz 是 一 个 
开源 的 压缩 工具 ， 可 以 并 行 压缩 文件 ， 如 果 你 的 Linux 系 统 没 有 安装 ， 那 么 请 下 载 并 安装 它 。 


innobackupex-1.5.1 --defaults-file=$fdef myconf} --slave-info --user=$user --password=$password --tmpdir=${tmp dir} --stream=tar $day backup dir 2>>$xtrabackup log |pigz -p 


一 些 参数 介绍 如 下 。 
* --defaults-fle=[my.cnf: 默认 的 配置 文件 ， 注 意 放 在 所 有 参数 列表 中 的 第 一 个 。 


“ -slave-info: 在 备份 一 个 复制 架构 中 的 从 库 时 ， 这 个 选项 非常 有 用 。 它 记录 了 备份 时 刻 正 在 应 用 的 主 库 的 二 进 制 日 志 名 和 位 置 ， 这 些 信息 被 记录 到 了 xtrabackup_slave_info 文 件 中 ， 这 个 有 点 像 
mysqldump 中 的 CHANGE MASTER 标 志 。 当 你 需要 为 主 库 搭建 新 的 从 库 时 ， 可 以 通过 对 这 个 从 库 的 备份 加 上 xtrabackup_slave_info 文 件 中 的 二 进 制 位 置 来 恢复 同步 。 


. -tmpdir: 设置 这 个 参数 是 为 了 避免 在 主机 上 对 多 个 实例 进行 备份 的 冲突 ， 因 为 可 能 都 要 向 同一 个 临时 目录 写 入 同样 的 文件 。 备 份 过 程 中 可 能 将 大 量 数据 写 入 到 tmpdir 的 默认 值 /tmp 中 ， 所 以 需要 将 这 
个 值 设置 到 非 /tmp 目 录 中 ， 以 免 /tmp 目 录 占 满 影响 备份 及 系统 的 其 他 正常 服务 。 


' --stteam tar; 使 用 这 个 流 备份 选项 ， 我 们 可 以 使 用 tar 进 行 打包 。 


实际 应 用 中 ， 还 有 其 他 一 些 选 项 需要 留意 。 


“ --databases: 指定 备份 的 数据 库 ， 若 没有 指定 则 默认 备份 所 有 数据 库 。 


“ --exportt: 导出 个 别 表 ， 以 便于 导入 到 其 他 服务 器 上 。 


具体 的 innobackupex 选 项 说 明 可 以 参照 官方 文档 : 


http://www.percona.com/doc/percona-xtrabackup/innobackupex/innobackupex_option reference.html, 


4. 如 何 增 量 备份 
增 量 备份 的 原理 如 下 。 
1) 首先 完成 一 个 完全 备份 ， 并 记录 此 时 的 检查 点 LSN， 你 需要 一 个 全 备 才 能 恢复 一 个 增 量 的 改变 ， 若 没有 一 个 全 备 作 为 一 个 基准 ， 那 么 你 的 增 量 备份 就 是 没有 意义 的 。 


2) 然后 进行 增 量 备份 时 ， 比 较 表 空间 中 每 个 页 的 LSN 是 否 大 于 上 次 备份 的 LSN， 若 是 则 备份 该 页 并 记录 当前 检查 点 的 LSN。 
相关 的 选项 如 下 。 

“ --incremental: 建立 增 量 备份 。 

“ -incremental-basedir=DIRECTORY: 全 备 目录 ， 主 要 用 于 作为 增 量 备份 的 基准 。 

“ --incremental-dit=DIRECTORY: 增 量 备份 目录 。 


“ --incremental-lsn: 用 于 增 量 备份 的 日 志 序 列 号 。 


增 量 备份 的 步骤 具体 如 下 。 


步骤 1: 全 备 。 


innobackupex /data/backups 


这 样 的 全 备 ， 会 在 全 备 目录 下 生成 一 个 带 有 时 间 标 记 的 目录 ， 即 BASEDIR， 我 们 假定 BASEDIR 是 /data/backups/2013-03-31_23-01-18， 该 目录 即 为 备份 的 目录 ， 


你 也 可 以 通过 innobackupex-no-timestamp 覆 盖 这 种 行为 ， 备 份 文件 将 放 在 给 定 的 目录 下 。 我 们 可 以 看 到 在 BASEDIR 目 录 下 有 一 个 文件 xtrabackup-checkpoints， 里 面 记录 了 备份 的 类 型 和 起 始点 的 
位 置 ， 如 下 所 示 。 


backup type = full-backuped 
from lsn=0 
to lsn = 1291135 


步骤 2: 第 一 次 增 备 。 


innobackupex --incremental /data/backups --incremental-basedir=BASEDIR 


这 样 就 有 了 一 个 增 量 备份 ， 存 放 在 /data/backups 目 录 下 一 个 带 时 间 戳 的 目录 中 ， 假 定 是 /data/backups/2013-04-01 .23-01-18， 称 之 为 INCREMENTAL-DIR-1， 如 果 此 时 还 想 要 再 进行 一 次 增 量 备份 
的 话 ， 那 么 类 似 地 ， 也 需要 一 个 基准 ， 现 在 的 基准 就 变 成 了 刚刚 完成 的 增 量 备份 INCREMENTAL-DIR-1 了 ， 我 们 检查 INCREMENTAL-DIR-1 目 录 下 的 xtrabackup-checkpoints 文 件 ， 可 以 看 到 如 下 信息 。 


backup type = incremental 
from lsn = 1291135 
to len = 1352113 


步骤 3: 第 二 次 增 备 。 


innobackupex --incremental /data/backups --incremental-basedir=INCREMENTAL-DIR-1 


这 次 增 备 是 在 /data/backups 下 创建 了 目录 /data/backups/2013-04-02_23-01-18 用 于 保存 增 量 备份 ， 称 之 为 INCREMENTAL-DIR-2， 检 查 INCREMENTAL-DIR-2 目 录 下 的 xtrabackup-checkpoints 
文件 ， 内 容 如 下 。 


backup type = incremental 
from lsn = 1352113 
to lsn = 1358967 


你 会 发 现在 每 一 个 备份 中 ， 不 管 是 全 备 ， 还 是 增 备 ， 它 们 的 目录 中 都 有 这 样 一 个 文件 : xtrabackup-checkpoints。 我 们 也 可 以 通过 这 些 位 置 点 来 备份 。 例 如 如 下 语句 。 


innobackupex --incremental /data/backups 
—-incremental-lsn=1291135 
innobackupex --incremental /data/backups 
--incremental-lsn=1358967 


5. 如 何 恢复 全 备 


全 备 后 的 文件 ， 不 能 直接 用 于 恢复 数据 ， 因 为 还 存在 数据 不 一 致 的 情况 ， 需 要 应 用 事务 日 志 ， 来 确保 数据 文件 的 一 致 性 。 这 也 是 准备 阶段 的 一 个 目的 。 一 旦 这 些 操作 完成 了 ， 数 据 就 可 以 被 用 作 恢复 还 
原 了 。 


相关 选项 及 其 说 明 如 下 。 
: -apply-log: 实际 恢复 数据 时 ， 我 们 需要 先 对 备份 的 数据 应 用 事务 日 志 ， 即 在 恢复 的 第 一 阶段 应 用 日 志 ， 如 果 你 不 指定 --defaults-file 参 数 ， 那 么 这 里 将 默认 使 用 backup-my.cnf 文 件 里 参数 应 用 日 志 。 
“ -copy-back: 将 之 前 所 做 的 备份 复制 到 原来 的 数据 目录 中 。 
' --redo-only: 在 进行 增 量 备份 恢复 时 将 会 用 到 。 

1) 准备 阶段 。 


例如 ， 运 行 如 下 的 命令 。 


innobackupex --apply-1log /path/to/BACKUP-DIR 


这 里 还 可 以 加 入 --use-memory 选 项 来 确保 内 存 ， 因 为 这 个 准备 阶段 的 进程 会 消耗 很 多 内 存 。 


innobackupex --apply-10g --use-memory=4G /path/to/BACKUP-DIR 


2) 恢复 还 原 数 据 。 
在 准备 阶段 完成 之 后 ， 通 过 --copy-back 选 项 来 完成 把 备份 恢复 到 服务 器 的 datadir 目 录 下 的 操作 。 注 意 先 要 备份 然后 删除 数据 目录 (datadir) 下 原 有 的 文件 ， 可 以 保留 配置 文件 my.cnf。 


innobackupex --defaults-file=/path/to/datadir/my.cnf --copy-back /path/to/BACKUP-DIR 


3) 在 启动 mysql 服 务 器 之 前 ， 要 先 确认 文件 的 参数 文件 、 文 件 属 主 等 信息 是 正确 的 。 可 能 还 需要 将 文件 的 所 有 者 信息 更 改 一 下 。 


Chown -R mysql:mysql /var/lib/mysql 


4) 启动 MySQL， 确 认 服务 正常 。 


实际 生产 环境 中 ， 我 们 一 般 会 压缩 备份 文件 ， 所 以 ， 在 恢复 重建 数据 库 之 前 ， 我 们 需要 先 解压 文件 。 


注意 解压 tar 文 件 时 要 加 参数 i， 如 ，tar-ixf2013-02-19_12-20-49.tar.gz 


6. 如 何 恢复 增 量 备份 


增 量 备份 的 恢复 类 似 于 全 量 备份 的 恢复 ， 也 有 两 个 阶段 ， 准 备 阶 段 和 恢复 数据 阶段 。 


(1) 准备 阶段 
与 全 量 备份 的 准备 阶段 有 所 不 同 ， 这 个 阶段 需要 注意 的 问题 更 多 。 
“ 对 于 每 一 个 增 量 备 份 ， 只 有 已 经 提交 了 的 事务 才能 被 重 做 。 这 个 过 程 是 将 全 备 的 内 容 与 增 量 备份 的 内 容 合 并 到 一 起 。 
“ 那些 没有 被 提交 的 事务 必须 被 回 滚 掉 ， 以 得 到 一 份 可 以 用 来 恢复 的 数据 。 
具体 步骤 如 下 。 
1) 对 基本 备份 进行 准备 。 


innobackupex--apply-log--redo-only BASE-DIR (BASE-DIR 即 之 前 全 备 的 那个 目录 ) ， 运 行 完毕 后 ， 你 会 看 到 类 似 如 下 的 输出 。 


120103 22:00:12 InnoDB: Shutdown completed; 1og sequence number 1291135 
120103 22:00:12 innobackupex: completed OK! 


2) 合并 第 一 次 的 增 量 备份 。 


innobackupex --appP1Y-1og --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-1 


3) 合并 第 二 次 的 增 量 备份 。 


innobackupex --apP1Y-1og BASE-DIR --incremental-dir=INCREMENTAL-DIR-2 


如 果 有 “completed OK!I” 字 样 ， 则 表示 应 用 准备 成 功 。 


注意 --redo-only 选 项 ， 对 最 后 一 个 增 量 备份 不 要 使 用 --redo-only 选 项 。 


4) 合并 完 所 有 的 增 量 备份 之 后 ， 我 们 运行 如 下 命令 来 准备 好 整个 数据 库 文件 。 


innobackupex --apply-10g BASE-DIR 


现在 我 们 的 备份 文件 可 以 用 来 进行 恢复 还 原 了 。 


(2) 数据 恢复 (restore) 阶段 


在 完成 了 增 量 备份 的 准备 阶段 后 ， 现 在 的 基准 目录 (base+incremental=full) 就 像 是 做 了 一 个 全 备 的 目录 ， 可 以 直接 进行 重建 。 


innobackupex --copy-back BASE-DIR 


7. 时 间 点 恢复 


通过 innobackupex 和 MySQL 服 务 的 二 进 制 日 志文 件 可 以 进行 基于 时 间 点 的 恢复 ， 将 数据 库 恢复 到 历史 的 某 个 状态 。 二 进 制 日 志 中 保存 着 对 数据 库 的 操作 细节 ， 你 可 以 用 一 个 历史 备份 再 加 上 二 进 制 
志 来 将 数据 库 恢 复 到 某 个 时 刻 。 


时 间 点 恢复 的 过 程 大 致 如 下 。 


我 们 先 通过 innobackupex 做 一 次 全 备 。 


innobackupex /path/to/backup --no-timestamp 


接 下 来 ， 就 准备 恢复 日 志 应 用 。 


innobackupex --apply-log /path/to/backup 


假设 某 个 时 刻 已 经 过 去 了 ， 想 恢复 数据 库 到 该 时 刻 ， 那 么 应 该 首先 知道 当前 的 二 进 制 日 志 情 况 。 


mysql> SHOW BINARY LOGS; 
mysql> SHOW MASTER STATUS; 


第 一 个 查询 将 会 告诉 你 包含 了 哪些 二 进 制 日 志文 件 ， 第 二 个 查询 将 会 告诉 你 哪个 二 进 制 日 志文 件 当前 正在 使 用 ， 以 及 当前 的 日 志 位 置 点 。 


之 后 ， 你 可 以 通过 之 前 所 做 的 备份 中 的 xtrabackup_binlog_info 文 件 ， 找 到 备份 到 的 日 志 编号 及 日 志 位 置 。 


cat /path/to/backup/xtrabackup binlog info 


通过 之 前 所 做 的 备份 对 数据 库 进 行 恢复 。 


innobackupex --copy-back /path/to/backup 


此 时 ， 数 据 已 经 达到 了 某 个 时 刻 ， 可 以 应 用 之 前 得 到 的 信息 ， 再 使 用 mysqlbinlog 工 具 进 行 基于 时 间 点 的 恢复 。 


如 下 是 基于 时 间 点 恢复 的 一 个 案例 。 我 们 需要 在 一 台 测 试 机 器 上 将 生产 环境 的 数据 库 恢 复 到 某 个 时 间 点 。 


1) 为 生产 环境 数据 库 建立 一 个 全 备 ， 然 后 把 所 有 文件 传输 到 测试 机 器 上 。 


innobackupex /path/to/backup --no-timestamp 


2) 在 测试 机 器 上 准备 恢复 ， 应 用 日 志 。 


innobackupex --app1LY-1og /home/backup/full/ 


3) 在 生产 环境 中 查询 当前 数据 库 的 日 志 位 置 。 


mysql> SHOW BINARY LOGS; 
十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 一 一 -一 一 十 


| Log name | File size | 

未 

| mysql-bin.000001 | 126 | 
| mysql-bin.000002 | 1306 | 
| mysq 


第 14 章 ” 运 维 技巧 和 常见 问题 处 理 


DBA 的 成 长 ， 离 不 开 对 各 种 问题 的 处 理 。 本 章 将 为 读者 介绍 一 些 运 维 技巧 和 常见 问题 的 处 理 方法 。 我 们 需要 意识 到 ， 别 人 的 经 验 代 蔡 不 了 自己 的 经 验 ， 所 以 ， 多 实践 、 多 处 理 问题 ， 最 终 会 帮 你 成 为 


14.1 MySQL 运 维 技巧 


14.1.1 ”使 用 lsof 命 令 恢复 文件 


如 果 你 在 Linux 下 不 小 心 删除 了 一 个 文件 ， 现 在 想 要 恢复 这 个 文件 ， 那 么 lsof 命 令 就 能 派 上 用 场 了 。 


首先 补充 下 关于 lsof 命 令 的 基础 知识 。 


lsof 是 Linux 自 带 的 工具 ， 其 他 Unix 系 统 可 能 需要 自己 进行 编译 安装 ， 它 可 以 显示 打开 的 文件 和 网 络 连接 ， 以 了 解 关 于 系统 的 更 多 信息 ， 了 解 应 用 程序 打开 了 哪些 文件 或 哪个 应 用 程序 打开 了 特定 的 > 


/proc 是 一 个 目录 ， 其 中 包含 了 反映 内 核 和 进程 树 的 各 种 文件 。 与 lsof 相 关 的 信息 大 多 数 都 存储 在 以 PID (进程 ID) 命名 的 目录 中 ， 所 以 /proc/1234 中 包含 的 是 PID 为 1234 的 进程 的 信息 。 


比如 我 们 查看 某 个 MySQL 进 程 的 信息 ， 它 打开 了 一 个 文件 unc.MYD。 


lsof -p 28400 |egrep "COMMAND|func.MYD" 
COMMAND BID USER FD TYPE DEVICE SIZE/OFF NODE NAME 
mysqld 28400 mysql 291u REG B717 0 65550 /data/to/path/mysql/func.MYD 


我 们 可 以 使 用 “/proc/$pid/fd/$fd” 的 形式 访问 文件 。 


11 /proc/28400/fd/291 
IWR-———=—— 1 root root 64 Aug 13 15:25 /proc/28400/fd/291 -> /data/to/path/mysql/func.MYD 


其 中 ，$pid 是 打开 文件 的 进程 id。$fd 是 文件 描述 符 ， 应 用 程序 通过 文件 描述 符 识别 该 文件 。 我 们 可 以 使 用 命令 Isof-p"$pid" 确 认 下 信息 。 


当 进 程 打 开 某 个 文件 时 ， 只 要 该 进程 一 直 保 持 打开 该 文件 ， 即 使 将 文件 删除 掉 ， 它 也 依然 存在 于 磁盘 中 。 这 就 意味 着 ， 进 程 并 不 知道 文件 已 经 被 删除 了 ， 它 仍然 可 以 对 打开 该 文件 时 提供 给 它 的 文件 


如 果 可 以 通过 文件 描述 符 查 看 相应 的 数据 ， 那 么 就 可 以 使 用 I/O 重 定向 将 其 复制 到 文件 中 ， 如 cat/proc/28400/fd/291>/data/to/path/mysql/func.MYD。 对 于 许多 应 用 程序 ， 尤 其 是 日 志文 件 和 数 


如 下 的 案例 演示 了 如 何 恢复 误 删 除 的 Apache 服 务 器 的 access log。 


1) 首先 运行 如 下 命令 。 


lsof |grep access log 


输出 结果 类 似 如 下 。 


httpd 26120 apache 42w REG 253,0 5852 12222531 /apachelogs/access_1og (deleted) 


我 们 可 以 看 到 ， 最 后 有 “ (deleted) ”字样 ， 好 消息 是 进程 (26120) 仍然 持 有 这 个 文件 句柄 


2) 然后 到 /proc 文 件 系统 下 去 查找 信息 。 


， 如 果 没 有 进程 打开 这 个 文件 ， 那 么 我 们 将 永远 失去 这 个 文件 了 。 


more /proc/26120/fd/42 


以 上 26120 是 进程 id，42 是 设备 描述 符 (fd) 。 


3) 最 后 ， 我 们 可 以 把 这 个 文件 重 定向 到 原来 的 位 置 ， 倒 如 如 下 语句 。 


cat /proc/26120/fd/42 > /apachelogs/access_1og 


如 果 我 们 不 知道 进程 jd， 那么 我 们 可 以 使 用 如 下 命令 来 查找 被 删除 文件 的 信息 。 


lsof -~nP | grep ' (deleted)' 


或 者 使 用 如 下 命令 。 


find /proc/*/fd -ls | grep ' (deleted)' 


仍然 以 上 面 的 access log 为 例 ， 如 果 你 删除 了 access log， 但 你 都 会 发 现 空间 并 没有 被 释放 ， 因 


正常 的 截断 access log 的 命令 如 下 所 示 。 


为 进程 仍然 持 有 这 个 文件 。 这 时 你 可 以 选择 重启 Apace 服 务 生 效 ， 也 可 以 使 


用 lsof 命 令 找到 这 个 文件 ， 


> /path/to/the/file.1og 


现在 这 个 文件 被 我 们 在 操作 系统 下 删除 了 ， 那 么 我 们 可 以 用 如 下 的 方式 来 截断 它 。 


> "/proc/$pid/fd/$fd" 


14.1.2 ”如 何 删 除 大 文件 


删除 一 些 大 文件 时 ， 不 可 避免 地 会 对 当前 的 MO 造成 冲击 ， 会 对 数据 库 造成 许多 慢 查询 。 特 别 是 上 百 GB 大 的 文件 ， 影 响 可 能 会 长 达 几 十 秒 。 在 ext3 系 统 上 ， 表 现 尤 差 。 可 以 采用 如 下 的 一 些 方式 来 组 


“ 选择 闲 时 ， 如 凌晨 ， 执 行 删除 操作 ， 可 使 用 crontab 调 度 或 使 用 at 命 令 。 


“ 使 用 其 他 文件 系统 ， 文 件 系 统 ext4、xfs 对 大 文件 操作 的 性 能 远 好 于 ext3。 


“ 使 用 truncate 工 具 ， 分 段 删 除 文件 。 具 体 步 骤 如 下 。 


1) 下 载 并 安装 truncate。 


wget http://ftp.gnu.org/gnu/coreutils/coreutils-8.9.tar.gz 
tar -zxvf coreutils-8.9.tar.gz 

cd coreutils-8.9 

./configure 

make 

cp src/truncate /usr/bin/ 


2) 如 下 是 一 个 删除 大 文件 的 脚本 。 


Cat rm large file.sh 

#!/bin/bash — 

## 调用 truncate 命 令 删 除 文 件 , 仅 针对 大 文件 (大 于 几 个 GB 的 文件 ) 
## 调用 方式 ./rm large file file name 


if 中 nS#m != nm ] ; then 
echo "please input file name" 
exit 99 

£i 


filename=$1 
filesize= 1s -lh $filename | cut -d\  -f5| cut -de -f1. 
# 文件 大 于 1GB 时 , 且 必须 是 数字 
if [[ "${filesize} [!0-9]* ]] ; then 
echo "warning: 非 数字 ,可 能 没有 1GB" 
exit 99 


if [ $filesize -le 1 ];then 
echo "too smalll size" 
exit 88 


if [ $filesize -ge 500 ] ;then 
echo "too large size,please modify the shell scripts" 
exit 88 
£1i 
sleeptime=3 
echo "truncate file $filename http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... ,sleep $sleeptime seconds Per trun 
date start=$ (date +%s) a 
for 工 in ‘seq $filesize -1 1 、 
do 
sleep $sleeptime 
echo "truncate to ${i}G" 
truncate -s ${i}G $filename 
done 
rm S$filename 
date end=$ (date +%s) 
echo "‘date "+%Y-%m-%d %H:%M:%S". . rm file $filename completed. ($((date end-date start)) sec)" 


14.1.3 ”获取 吞吐 信息 


如 下 命令 ， 将 实时 显示 MySQL 的 吞吐 信息 。 这 条 命令 是 从 网 上 摘录 的 。 


mysqladmin -uroot -p -r -i 2 extended-status |awk -F "|" 'BEGIN { count=0; } { if($2 ~ /Variable name/ 站 二 HI 人 == 让 仙人 t= MySQL Command 5 


14.1.4 “传输 大 文件 


迁移 或 恢复 备份 的 过 程 有 时 需要 传输 大 文件 ， 传 输 大 文件 时 需要 注意 如 下 两 点 。 


1) 用 scp 进 行 传输 的 时 候 ， 如 果 可 能 造成 主 库 所 在 机 器 的 MO 紧张 ， 那 么 可 能 需要 考虑 限 速 〈-| 参 数 ) ， 以 免 影响 数据 库 主机 上 的 其 他 实例 。 


2) 可 考虑 使 用 管道 ， 以 减少 MO 操作 ， 节 约 时 间 。 如 下 命令 将 利用 管道 把 文件 压缩 输出 到 远程 服务 器 上 。 


gzip -c /backup/mydb/mytable.MYD | ssh root@server2 "gunzip -c - > /var/lib/mysql/mydb/mytable.MYD" 


如 下 命令 将 利用 管道 把 mysqldump 备 份 的 数据 输出 到 远程 服务 器 上 。 


mysqldump -uroot db name |gzip -c | ssh mysqlel11.11.11.11 "gunzip -c - > /home/mysql/db name.sql" 


zcat 命 令 也 比较 方便 实用 ， 可 以 不 用 解压 缩 大 文件 ， 直 接应 用 ， 例 如 如 下 命令 。 


zcat xxx.gz | mysql -uroot -p 


如 下 命令 将 合并 远程 传输 和 压缩 操作 ， 以 节省 时 间 。 


ssh mysql@11.11.11.11 "cd /home/mysql/data ;tar -zcvf - data"| cat > data.tar.gz 


心 


.1.5 “记录 连接 用 户 


我 们 可 以 通过 设置 init_connect 参 数 来 记录 连接 到 数据 库 的 用 户 。 如 下 命令 中 的 accesslog 表 将 存储 连接 的 用 户 。 


mysql> show variables like 'init connect'; 
| init connect | insert into db name.accesslog (thread id,1o0g time,localname,matchname) values (connection id(),now(),user(),current user()); 


注意 还 需要 分 配 这 个 程序 账号 对 表 accesslog 的 INSERT 权 限 。 


GRANT INSERT ON ‘db _ name ` .accesslog ”TO user nameQ@'10. 委 ' ; 


.1.6 ”如 何 判 断 表 的 碎片 


更 连续 、 更 紧凑 的 数据 块 可 以 让 性 能 变 得 更 好 。 碎 片 化 的 表 会 导致 一 些 操作 比较 慢 ， 如 索引 范围 查找 ， 尤 其 是 对 于 履 盖 索引 类 的 查询 。 


数据 变 得 碎片 化 ， 可 能 是 出 于 如 下 原因 。 


“ 行 记录 自身 碎片 化 ， 一 笔记 录 被 存放 在 多 个 地 方 。 


“ 逻辑 顺序 的 块 或 行 记录 并 未 顺序 存储 于 磁盘 中 。 


“ 自由 空间 碎片 化 。 


MySQL 目 前 并 没有 足够 的 信息 来 帮助 我 们 判断 一 个 表 是 否 有 很 多 碎片 ， 但 是 我 们 可 以 通过 其 他 一 些 方式 来 判断 。 


一 般 情况 下 ， 当 我 们 对 一 个 大 表 进 行 全 表 扫描 的 时 候 ，SHOW INNODB STATUS\G 如 果 显示 平均 |/O SIZE 比 较 小 ， 比 如 20KB， 那 么 这 个 表 的 碎片 可 能 就 比较 多 ， 例 如 如 下 语句 。 


FILE I/O 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... reads/s, 20534 avg bytes/read, http://www.hzcourse.com/resource/ 


对 大 表 进 行 全 表 扫 描 ， 可 以 使 用 如 下 语句 进行 模拟 。 


SELECT count (*) FROM tbl WHERE non idx col=0 


在 操作 系统 下 ， 我 们 可 以 使 用 cat 命 令 判 断 碎片 是 否 比较 严 


Man 


， 如 cat/dev/sdb1>/dev/null。 下 面 我 们 通过 一 个 例子 来 进行 说 明 。 


正常 的 情况 下 ，6 块 15K 转 速 的 SAS 盘 所 组 成 的 RAID1+0，I/O 吞 吐 率 可 以 达到 300MB 每 秒 ， 如 果 我 们 使 用 如 下 命令 检查 到 每 秒 只 有 几 十 MB， 那 么 表 的 碎片 可 能 比较 严重 了 。 


cat table.ibd > /dev/null 


当 使 用 独立 表 空间 时 ，table.ibd 是 表 的 数据 文件 。 


一 般 情况 下 ,我们 极 少 碰 到 表 的 碎片 所 导致 的 性 能 问题 ， 但 在 突然 的 大 规模 的 数据 变更 下 ， 碎 片 可 能 会 比较 严重 。 一 般 有 如 下 三 种 办 法 整理 碎片 。 


OPTIMIZE TABLE 命 令 优 化 。 


* ALTER TABLE TABLE_NAME ENGINE=ENGINE。 


“ 重新 导出 导入 数据 。 


推荐 使 用 OPTIMIZE TABLE 命 令 进行 优化 。 需 要 留意 的 是 执行 OPTIMIZE TABLE 命 令 时 会 锁 表 ， 你 将 不 能 继续 写 入 数据 。 


我 们 也 可 以 借助 一 些 开源 的 工具 来 判断 数据 文件 的 碎片 ， 对 于 独立 表 空间 ， 我 们 还 可 以 通过 查询 information_schema.tables 的 DATA_FREE 列 来 衡量 碎片 化 的 程度 。 


SELECT 
ENGINE, 
TABLE NAME, 
Round (DATA LENGTH / 1024 / 1024) as data length, 
round (INDEX LENGTH / 1024 / 1024) as index length, 
round (DATA FREE / 1024 / 1024) as data free, 
DATA FREE 7 (DATA LENGTH + INDEX LENGTH) as ratio of fragmentation 


FROM 
information schema.tables 
WHERE 
DATA FREE > 0; 
碎片 化 比较 严重 ， 不 一 定 就 是 有 性 能 问题 ， 即 使 以 上 碎片 化 的 比率 达到 20% 甚 至 30%， 你 应 该 在 确认 性 能 问题 的 原因 就 是 表 的 碎片 化 后 才能 采取 行动 。 


.1.7 快速 关闭 MysQL 


如 果 InnoDB 缓 冲 区 (innodb_buffer_size 参 数 ) 很 大 ， 缓 冲 区 内 的 脏 数据 太 多 ， 那 么 关闭 的 时 候 必 须 把 脏 数据 刷新 到 磁盘 ， 这 个 过 程 可 能 会 很 漫长 ， 从 而 导致 关闭 服务 的 时 间 过 长 。 


我 们 可 以 临时 设置 innodb_max_dirty_pages_pct=0， 然 后 等 脏 数据 大 部 分 都 刷新 到 磁盘 后 (查看 SHOW INNODB STATUS 输出 中 的 Modified db pages， 这 个 值 应 该 比较 小 ) ， 再 手动 关闭 数据 及 


可 以 采用 如 下 的 办 法 。 


1) 运行 命令 “SET GLOBAL innodb_ max dirty pages pct=0;”。 


2 


运行 命令 mysqladmin ext-i10|grep dirty 检 查 状 态 变量 Innodb_buffer_pool_pages_dirty， 等 到 它 接近 0 的 时 候 关闭 它 ， 如 果 是 生产 繁忙 的 系统 ， 这 个 值 可 能 会 一 直 偏 大 。 


3 


待 Innodb_buffer_pool_pages_dirty 的 值 很 小 时 ， 就 可 以 用 mysqladmin 关 闭 MySQL 了 。 


对 于 某 些 需要 快速 关闭 和 重启 MySQL 的 情况 ， 这 种 方法 是 适合 的 ， 因 为 我 们 可 以 预先 运行 第 一 个 步骤 的 命令 。 


另 一 种 办 法 是 设置 innodb fast_shutdown=2 (默认 为 1， 可 以 动态 修改 该 值 ) ， 不 过 不 到 万 不 得 已 时 不 要 这 么 做 ， 因 为 虽然 这 样 可 以 快速 关闭 MySQL， 但 启动 的 时 候 要 执行 更 多 的 恢复 操作 。 


外 注意 对 于 InnoDB 的 数据 库 ，FLUSH TABLES 是 没有 用 的 ，FLUSH TABLES 是 针对 MYISAM 这 类 引擎 的 。 


14.1.8 ”如 何 预 热 数据 


预 热 数据 是 为 了 能 把 热点 数据 加 载 到 内 存 中 。 可 以 考虑 的 一 个 方法 是 ,执行 一 次 全 表 扫 描 (full table scan) ， 如 下 是 一 个 全 表 扫 描 的 例子 ， 在 一 个 4 块 15K 转 速 的 SAS 盘 所 组 成 的 RAID1+0 的 数据 库 


SELECT COUNT(*) FROM tbl WHERE non idx col=0; 


通过 iostat 命 令 可 以 看 到 MO 比较 高 ， 顺 序 读 取 磁 盘 吞 吐 有 每 秒 百 MB 以 上 ， 如 果 比 较 低 ， 只 有 每 秒 几 MB， 那 么 这 个 表 的 碎片 化 可 能 严重 或 硬件 有 问题 。 


我 们 可 以 使 用 HOW INNODB STATUS 命令 检查 下 预 热 的 效果 。 检 查 FILE MO 节 ， 可 以 看 到 每 秒 有 几 百 次 的 MO， 每 次 MO 在 百 KB 左右 。 这 与 操作 系统 命令 jostat 的 输出 类 似 ( 见 avgrq-sz 项 ) 。 检 二 


我 们 也 可 以 把 预 热 数据 要 执行 的 SQL 通过 init_file 参 数 来 执行 ， 这 样 就 可 以 在 系统 启动 的 时 候 执行 了 。 


14.1.9 ”临时 禁止 数据 库 访问 


我 们 可 以 使 用 防火 墙 工 具 iptables 临 时 禁止 网 络 访问 。 例 如 如 下 语句 。 


iptables -A INPUT -p tcp --dport 3306 -j DROP 


或 者 配置 参数 skip-networking 临 时 禁止 网 络 访问 。 


14.1.10 ”获取 MySQL 连 接 、 用户 


以 下 查询 可 用 于 获取 长 连接 的 用 户 连接 。 


SELECT LEFT (host, IF(LOCATE(':', host), LOCATE(':', host), LENGTH(host) + 1) - 1 


AS 
host_ short,GROUP CONCAT (DISTINCT USER) AS users,COUNT (*) 
FROM information schema.processlist 
GROUP BY host short 
ORDER BY COUNT(*),host short; 


14.1.11 ”更 改 数据 库 名 


MySQL 并 没有 直接 修改 数据 库 名 的 管理 命令 ， 如 果 需 要 修改 数据 库 的 库 名 ， 有 如 下 两 种 方法 。 


“ 使 用 mysqldump 导 出 该 数据 库 下 的 所 有 表 ， 然 后 创建 新 的 数据 库 ， 然 后 使 用 mysql 命 令 再 把 表 导 入 新 的 数据 库 ， 最 后 删除 旧 的 数据 库 。 


“ 重 命名 表 ， 具 体 步 骤 如 下 。 


1) 新 创建 数据 库 newdb。 


mysql> CREATE DATABASE newdb; 


2) 生成 重 命名 表 的 语句 。 


mysql -N -~e "SELECT CONCRAT ('rename table olgdb.',table name,' to newdb.',table name,';') FROM information schema.TABLES WHERE TABLE SCHEMA='olddb';" > rename _ mysql_name .sd 


3) 执行 rename_mysq|_name.sql。 


mysql -uroot -p < rename mysql name.sql 


@t 总 重 命名 表 的 操作 会 导致 连接 中 断 ， 所 以 你 的 应 用 程序 需要 有 重 连 的 机 制 。 


14.1.12 ”批量 KILL 连 接 


有 时 生产 环境 突然 出 现 性 能 恶化 ， 登 录 MySQL， 运 行 SHOW PROCESSLIST 命 令 ， 发 现 有 大 量 查 询 正在 执行 ， 这 时 你 打算 手动 KILL 掉 应 用 程序 中 过 来 的 运行 时 间 超 过 200s 的 所 有 的 数据 库 连 接 。 


mysql> SELECT CONCAT('KILL ',id,';') FROM information schema.processlist 
WHERE user<>'root' AND Command='Query' AND db='db name' AND time > 200 INTO OUTFILE '/tmp/a.txt'; 
mysql> SOURCE /tmp/a.txt; 


你 可 以 添加 更 多 的 筛选 条 件 。 


如 下 是 一 个 KILL 掉 被 阻塞 的 连接 的 例子 ， 这 是 一 个 临时 的 解决 方案 ， 彻 底 解 决 问题 需要 尽快 找到 导致 阻塞 的 原因 。 


for id in ‘mysqladmin processlist|grep -i lockedlawk '{print S$1} 
do 

mysqladmin kill ${id} 
done 


14.1.13 ”记录 运行 时 间 长 的 查询 


如 下 命令 将 记录 运行 时 间 超 过 120s 的 查询 。 


mysql -uroot -p -~e "show full processlist" |grep "Query" |grep "select" |egrep -V "root|Sleep|Locked|INSERT|DELETE|UPDATE" | gawk '{if(strtonum($6)>120) {print $0;}}' | grel 


14.1.14 ”删除 分 表 


如 果 分 表 是 类 似 于 table_name_20100923 这 样 的 格式 ， 现 在 我 们 需要 删除 3 个 月 之 前 的 数据 ， 那 么 我 们 可 以 使 用 如 下 语句 生成 批量 DROP TABLE 的 语句 。 


SELECT 
CONCRT ('DROP TABLE ', table name， ';') 
INTO OUTFILE '/tmp/file' from 
information schema.tables 
WHERE 
table schema = 'db name' 
AND table name like 'table name 201%' 
AND table name < CONCAT('table name ',date format (date_sub (now (), interval 90 day),'%Y%m%d')) 


14.2 ”常见 问题 


14.2.1 忘记 root 密 码 


如 果 忘 记 了 root 密 码 ， 可 以 按 如 下 步骤 进行 处 理 。 


1) 先 关闭 MySQL 服 务 ， 你 可 以 使 用 自 启动 服务 脚本 关闭 MySQL， 或 者 直接 在 操作 系统 下 kill 掉 服务 。 


2) 然后 修改 配置 文件 ， 添 加 --skip-grant-tables 参 数 ， 然 后 重新 启动 MySQL 服务 ， 此 时 我 们 可 以 无 密码 登录 ， 然 后 修改 权限 表 ， 命 令 如 下 。 


UPDATE mysql .user SET password=PASSWORD('new password') WHERE user="'root'; 


中 


3) 修改 配置 文件 ， 去 掉 启 动 参数 --skip-grant-tables， 重 新 启动 MySQL。 这 时 你 就 可 以 使 用 新 密码 了 。 


14.2.2 InnoDB 同 时 打开 事务 最 大 不 能 超 1023 个 


对 于 MySQL 5.1， 如 果 并 发 事务 超过 1023 个 ，InnoDB 将 报错 ， 报 错 语句 为 “InnoDB:Warning:cannot find a free slot for an undo log”。 程 序 也 会 报错 ， 报 错 语句 为 SQL state[HY000];error c 


解决 方式 如 下 。 


“ 使 用 MySQL5.5 或 之 后 版 本 。 


“ 使 用 Percona 分 支 版 本 也 可 以 解决 。 


14.2.3 ”连接 不 上 人 MySQL 


如 果 连 接 不 上 MySQL， 将 输出 类 似 如 下 的 错误 信息 。 


shell> mysql 

ERROR 2003: Can't connect to MySQL server on 'host name' (111) 
shell> mysql 

ERROR 2002: Can't connect to local MySQL server through socket 
'/tmp/mysql.sock' (111) 


可 能 的 原因 如 下 。 


“ 数据 库 服务 器 没有 启动 。 


“ 连接 了 错误 的 端口 或 套 接 字 (socket) 文件 。 


“ 服务 器 或 客户 端 程序 不 具有 访问 包含 套 接 字 文 件 的 目录 或 套 接 字 文 件 本 身 的 权限 。 


还 可 以 使 用 shell>netstat-In|grep mysq| 来 确定 下 socket 文 件 的 位 置 。 


如 果 报 出 如 下 错误 : 


Access denied for user 'user'@'ip addqress' (using password: YES) 


那么 原因 一 般 是 密码 错误 。 


Access denied 错 误 消息 将 会 告诉 你 ， 你 正在 使 用 哪个 用 户 句 尝试 登录 ， 你 正在 试图 连接 到 哪个 3 


如 果 报 出 如 下 错误 : 


Host http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/... 


E 机 ， 是 否 使 用 了 密码 。 通 常 ， 你 应 该 在 user 表 中 有 一 行 记录 能 够 正确 地 匹配 错误 消息 中 给 出 的 主机 : 


is not allowed to connect to this MySQL server 


那么 这 是 因为 在 user 表 中 没有 匹配 你 运行 命令 的 主机 的 行 ， 可 能 是 IP 被 限制 了 。 


14.2.4 主机 的 host_name 被 屏蔽 


如 果 遇 到 下 述 错误 ， 则 表示 mysqld 已 收 到 了 来 自主 机 “host_name” 的 连接 请 求 ， 但 该 3 


机 被 屏蔽 了 。 


Host 'host name' is blocked because of many connection errors . 
Unblock with 'mysqladmin flush-hosts' 


可 运行 命令 “mysqladmin flush-hosts” 解 除 屏蔽 。 


max_connect_errors 变 量 设 置 了 最 多 允许 多 少 次 连接 中 断 ， 如 果 超 过 了 这 个 阔 值 ，MySQL 就 会 屏蔽 主机 的 后 续 请 求 。 直 到 你 执行 了 mysqladmin flush-hosts 命 令 ， 或 者 发 出 了 FLUSH HOSTS 命 令 


14.2.5 ”连接 数 过 多 


当 你 试图 连接 到 mysqld 服 务 器 时 遇 到 “Too many connections” 错 误 ， 这 表示 所 有 可 | 


的 连接 均 已 被 其 他 客户 端 使 用 。 人 允许 的 连接 数 由 max_connections 系 统 变 量 来 控制 。 默 认 值 为 100。 如 果 需 


mysql> SET GLOBAL max_connections = 3000 


mysqld 实 际 上 允许 max_connections+ 1 个 客户 端 进 行 连接 。 额 外 的 连接 保留 给 具有 SUPER 权 限 的 账户 。 通 过 为 系统 管理 员 而 不 是 普通 用 户 授予 SUPER 权 限 (普通 用 户 不 应 具有 该 权限 ) ， 系 统管 理 


1) 查看 当前 的 连接 数 Threads_connected， 曾 经 最 大 的 连接 数 Max_used_connections。 


mysql> SHOW GLOBAL STATUS LIKE '‘'%conn%'; 


2) 检查 下 当前 线程 的 详细 信息 ， 线 程 是 否 大 量 累 计 ， 被 阻塞 。 


mysql> SHOW PROCESSLIST ; 


以 上 步骤 ， 一 般 可 以 判断 原因 ， 必 要 的 话 ， 可 以 运行 KILL 命 令 ， 临 时 KILL 线 程 。 


3) 如 果 需 要 | 临时 增加 连接 数 阔 值 ， 可 运行 如 下 命令 。 


mysql> SET GLOBAL max_connections=new_ Value 


4) 如 果 需 要 永久 变更 ， 则 要 记得 同步 更 改 配置 文件 my.cnf。 


14.2.6 ”处 理 磁盘 满 


出 现 磁盘 空间 满 的 情况 时 ，MySQL 将 会 每 分 钟 检 查 一 次 ， 查 看 是 否 有 足够 的 空间 写 入 当前 行 。 如 果 有 足够 的 空间 ， 则 将 继续 ， 就 像 什 么 也 未 发 生 一 样 。 每 10 分 钟 会 将 1 个 条 目 写 入 日 志文 件 ， 提 醒 磁 


14.2.7” 表 损坏 


表 损 坏 主要 出 现在 MylSAM 引 擎 的 表 发 生 损坏 的 情况 下 ， 如 果 MySQL 主 机 突然 裔 演 ， 或 者 强制 关机 而 没有 正常 关闭 MySQL 服 务 都 可 能 导致 MylSAM 表 损坏 。 当 在 表 中 查询 数据 时 人 息 ， 你 会 碰 到 报错 


一 个 被 损坏 了 的 表 的 典型 症状 如 下 。 


1) 当 在 从 表 中 选择 数据 时 ， 你 会 得 到 如 下 错误 。 


Incorrect key file for table: 'http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/...'. Try to repair it 


注意 磁盘 空间 ， 如 临时 表 所 在 的 操作 系统 分 区 满 了 的 情况 下 ， 也 会 有 这 种 报错 。 


2) 查询 不 能 在 表 中 找到 行 ， 或 者 返回 不 完全 的 数据 。 


3) 提示 错误 信息 : ErrorTable'p'is marked as crashed and should be repaired。 


4) 打开 表 失 败 : Can't open file。 


MylSAM 表 可 以 采用 以 下 步骤 进行 修复 。 


1) 使 用 REAPAIR TABLE 命 令 或 myisamchk 工 具 来 修复 。 


2) 如 果 上 面 的 方法 修复 无 效 ， 则 使 用 备份 来 恢复 表 。 


建议 在 配置 文件 里 添加 自动 修复 表 的 参数 ， 即 myisam-recover=default， 这 样 系统 会 在 启动 的 时 候 自动 帮 你 修复 表 。 如 果 表 被 标记 为 “not closed properly” 或 “crashed”,， 那 么 MySQL 会 检查 


如 果 是 大 表 ， 修 复 表 会 很 耗 时 ， 还 可 能 会 影响 到 服务 。 


14.2.8 ”查看 锁 的 等 待 


出 


新 的 MySQL 版 本 5.5 增 加 了 一 些 视图 ， 用 于 查看 锁 的 等 待 情况 ， 例 如 : 


SELECT r.trx id AS waiting trx id, r.trx MYSQL thread id AS waiting thread,TIMESTAMPDIFF (SECOND, r.trx wait started, CURRENT TIMESTAMP) AS wait time,r.trx query AS waiting : 
1.lock table RS waiting table Jock, 

b.trx id AS blocking trx id, b.trx MySQL thread id RS blocking thread, 

SUBSTRING (p. host, 1, INSTR (p. host;, "= 1) B38 blocking 1 host, 

SUBSTRING (p.host, INSTR(p.host, ':') +1) AS blocking port, 

IF(p.command = "Sleep", p.time, 0) RS idle in trx, 

b.trx query AS blocking query 

FROM INFORMATION SCHEMA.INNODB LOCK WAITS AS w 

INNER JOIN INFORMATION SCHEMA.INNODB TRX AS b ON b.trx id = w. blocking trx id 
INNER JOIN INFORMATION SCHEMA.INNODB TRX AS r ON r.trx id = w. requesting trx id 
INNER JOIN INFORMATION SCHEMA.INNODB LOCKS RS 1 ON w. requested | lJock id = 1. lock . id 
LEFT JOIN INFORMATION SCHEMA.PROCESSLIST AS p ON p.id = b.trx .MySQL thread id 
ORDER BY wait time DESC 


SELECT CONCAT('thread ', b.trx _ MYSQL thread id, ' from ', p.host) AS who blocks, 
IF(p.command = "Sleep", p.time, 0) AS idle in trx, 

MAX (TIMESTAMPDIFF (SECOND, r.trx wait started, NOW())) AS max wait time, 

COUNT (*) AS num waiters 

FROM INFORMATION SCHEMA.INNODB LOCK WAITS AS w 

INNER JOIN INFORMATION SCHEMA.INNODB TRX AS b ON b.trx id = w.blocking trx id 
INNER JOIN INFORMATION SCHEMA.INNODB TRX AS r ON r.trx id = w.requesting trx id 
LEFT JOIN INFORMATION SCHEMA.PROCESSLIST AS p ON p.id = b.trx MySQL thread id 
GROUP BY who blocks ORDER BY num waiters DESC\G 站 加 加 


也 可 以 使 用 mysqladmin debug 命 令 查看 锁 的 等 待 情况 ，mysqladmin debug 命 令 将 会 把 锁 的 信息 打印 到 MySQL Server 的 错误 日 志 (error log) 中 。 


Fs 


蚂 


.9 mysqldump 备 份 报错 


将 mysqldump 备 份 到 远程 管道 ,或 者 慢 速 设备 (如 NFS) 中 时 ， 可 能 会 出 现 如 下 的 报错 信息 。 


"Got timeout writing communication packets". 


110421 2:07:01 [Warning] Aborted connection 237201 to db: 'db 01' user: 'root' host: 'localhost' 


或 者 报错 信息 如 下 。 


(Got timeout writing communication packets) 


你 可 能 需要 增加 net_write _timeout 参 数 才 可 以 确保 不 会 出 错 。 


14.2.10 Table'tbl_name'doesn't exist 


由 于 MySQL 是 使 用 目录 和 文件 来 保存 数据 库 和 表 的 ， 因 此 如 果 它 们 位 于 区 分 文件 名 大 小 写 的 文件 系统 上 时 ， 数 据 库 和 表 名 也 区 分 文件 名 大 小 写 。 


如 果 提示 如 下 错误 。 


Table 'tbl name' doesn't exist 
Can't find file: 'tbl name' (errno: 2) 


则 有 可 能 确实 不 存在 这 个 表 ， 但 也 可 能 表 是 存在 的 ， 但 你 没有 正确 引用 它 ， 或 者 没有 权限 。 


.2.11 ”root 账号 权限 异常 


如 果 root 账 号 异常 ， 比 如 ， 误 删除 了 root 账 号 ， 那 么 你 可 以 采取 下 面 的 方式 来 处 理 ， 建 议 不 到 万 不 得 已 时 ， 不 要 使 用 下 面 的 方法 。 更 保险 的 办 法 还 是 关闭 实例 ， 然 后 直接 复制 其 他 实例 的 mysql 库 ，j 


恢复 root 账 号 的 具体 步骤 如 下 。 


1) 关闭 MySQL。 


2) 不 加 载 权限 表 启动 MySQL， 即 运行 mysqld_safe--skip-grant-tables&。 


3) 运行 mysql-u root-p 回 车 ， 执 行 如 下 的 查询 。 


INSERT INTO ‘user” (‘Host’, ‘User’, ‘Password’, ‘Select priv’, ‘Insert priv’, ‘Update priv’, ‘Delete priv’, "Create_Priv ， ‘Drop priv’, ‘Reload Priv ， ‘Shutdown priv’, “Prok 


VALUES ('localhost', 'root', ,YY ,YY ,YY ,YY YY, YY YY YY YY YY YY YY YY 0, 0,'0','0'); 


4) 然后 ， 


中 


看 启 mysqld 即 可 。 


有 时 我 们 可 能 会 发 现 root 不 能 给 其 他 用 户 赋予 权限 。 


mysql> GRANT EVENT ON *.* to event user@localhost; 
ERROR 1045 (28000) : Access denied for user 'root'@']localhost' (using password: YES) 
SELECT host,user,Grant priv,Super priv FROM mysql.user WHERE user="'root'; # 可 发 现 root@localhost 的 Grant_priv 值 为 N 


如 下 命令 将 给 root 账 号 恢复 GRANT 权 限 。 


UPDATE mysql.user SET Grant priv='Y', Super priv='Y' WHERE user='root' and host="'localhost'; 
FLUSH PRIVILEGES; 

mysql > EXIT 

mysql > 

mysql > GRANT EVENT ON *.* to event user@localhost; 


14.2.12 SHOW PROCESSLIST 输 出 中 有 大 量 unauthenticated user 连 接 


SHOW PROCESSLIST 输 出 中 有 大 量 unauthenticated user 连 接 时 ， 如 果 连 接 很 频繁 ， 则 客户 端 可 能 会 报错 “Can't connect to MySQL server on” 


一 般 出 现 这 种 异常 的 原因 是 ， 数 据 库 开 了 域名 反 向 解析 从 而 导致 客户 端 连接 超时 。 解 决 方案 如 下 ， 


1) 把 服务 的 DNS 反 向 解析 功能 关 掉 。 


2) 构建 自己 的 DNS 解析 或 更 改 hosts 文 件 ， 使 其 能 够 快速 解析 域名 。 


14.2.13 ”统计 information_schema 里 面 的 元 数据 信息 缓慢 


有 时 统计 information_schema 里 面 的 元 数据 信息 缓慢 ， 这 种 情况 一 般 发 生 在 统计 许多 表 、 大 表 或 分 区 表 的 时 候 ， 对 information_schema 执 行 的 一 些 查询 ， 如 SHOW TABLE STATUS、SHOW INC 


由 于 可 能 会 影响 到 服务 器 性 能 ， 因 此 对 information_schema 的 查询 要 慎重 使 用 ， 对 于 拥有 大 量 数据 的 MySQL Server 可 能 会 导致 严重 的 性 能 问题 。 一 些 监控 工具 、 监 控 脚 本 就 存在 这 样 的 严重 问题 。 


解决 办 法 是 设置 变量 SET GLOBAL innodb _stats_ on_metadata=0 以 避免 产生 性 能 问题 。innodb _stats_on_metadata=0 表 示 在 查询 information_schema 时 ， 不 自动 更 新 统计 数据 。 


InnoDB 的 统计 信息 并 不 是 持久 化 到 硬盘 里 的 ， 而 是 动态 收集 的 ， 存 储 在 内 存 中 的 。MySQL 5.6、Percona Server 可 以 设置 参数 ， 对 统计 数据 进行 持久 化 。 


14.2.14 Aborted_connects、Aborted_clients 异 常 升 高 


有 时 我 们 会 观察 到 状态 变量 Aborted_connects、Aborted_clients 在 不 断 增 长 。 


mysqladmin ext | grep Abort 
mysqladmin ext | grep Abort | grep -v 0 


用 “--log-warnings=2” 选 项 启动 mysqld， 可 获得 关于 连接 的 更 多 信息 。 这 样 ， 就 能 将 某 些 断 开 连 接 错 误 记 录 到 hostname.err 文 件 中 ， 例 如 如 下 语句 。 


010301 14:38:23 Aborted connection 854 to db: 'users' user: "josh' 


你 也 可 以 动态 设置 这 个 参数 。 


如 果 客 户 端 成 功 连接 到 服务 器 但 是 因 异 常 断 开 了 连接 ， 那 么 MySQL Server 的 状态 变量 Aborted_clients 将 增加 ， 并 将 “Aborted connections” (放弃 连接 ) 消息 记录 到 错误 日 志 中 ， 可 能 的 原 


加 
本 


“ 客户 端 程序 在 退出 之 前 未 调用 mysql_close0 。 


“ 客户 端的 空闲 时 间 超 过 wait_timeout 或 interactive_timeout 秒 ， 未 向 服务 器 发 出 任何 请 求 。 


“ 客户 端 在 数据 传输 中 途 突然 结 


如 果 客 户 端 甚至 不 能 连接 到 MySQL Server， 那 么 MySQL Server 将 会 增长 Aborted_connects 变 量 ,不 成 功 的 连接 尝试 可 能 是 因为 如 下 的 原 


“ 客户 端 没有 权限 连接 数据 库 。 


“ 连接 信息 包 不 含 正确 的 信息 。 


“ 获取 连接 信息 包 的 时 间 超 过 connect_timeout 秒 。 


我 们 可 以 使 用 tcpdump 来 获取 可 能 出 错 的 原因 ， 比 如 可 以 用 如 下 的 方式 检测 到 密码 错误 。 


tcpdump -s 1500 -w tcp.out port 3306 
strings tcpdump.out 


14.2.15 MySQL server has gone away 错误 


有 时 会 出 现 “MySQL server has gone away” 的 报错 ,一般 同时 还 会 有 “Lost connection to server during query” 的 报错 。 发 生 MySQL server has gone away 的 最 常见 原因 是 连接 闲置 超时 ， 


EE 
< 


mysqlf 


默认 是 重 连 的 ， 但 有 一 些 应 用 程序 ， 也 许 并 没有 重 连 的 机 制 ， 这 往往 会 导致 执行 失败 。 


导致 MySQL server has gone away 错误 的 一 些 其 他 原因 如 下 所 示 。 


“ 使 用 KILL 语 句 或 mysqladmin ki 命令 杀 死 了 正在 运行 的 线程 。 


“ 在 关闭 了 与 服务 器 的 连接 后 试图 运行 查询 。 这 表明 应 更 正 应 用 程序 中 的 逻辑 错误 。 


: 在 客户 端的 一 侧 遇 到 TCP/IP 连 接 超时 错误 。 


“ 在 服务 器 端 遇 到 超时 错误 ， 而 且 禁 止 了 客户 端 中 的 自动 再 连接 功能 。 


“ 如 果 向 服务 器 发 出 了 不 正确 或 过 大 的 查询 ， 也 会 遇 到 这 类 问题 。 如 果 mysqld 收 到 过 大 的 或 无 序 的 信息 包 ， 它 会 认为 客户 端 出 错 ， 并 关闭 连接 。 如 果 需 要 执行 较 大 的 查询 (例如 ， 正 在 处 理 大 的 BLO 


14.2.16 ”信息 包 过 大 错误 


通信 信息 包 是 发 送 至 MySQL 服 务 器 的 单个 SQL 语句 ， 或 者 发 送 至 客户 端的 单一 行 。 在 MySQL 5.1 服 务 器 和 客户 端 之 间 最 大 能 发 送 的 信息 包 为 1GB。 


当 MySQL 客 户 端 或 mysqld 服 务 器 收 到 大 于 max_allowed_packet 字 节 的 信息 包 时 ， 将 发 出 ”(ER_NET_PACKET_ TOO_LARGE) ”， 错 误 ， 并 关闭 连接 ， 错 误 如 下 。 


Error: 1153 SQLSTATE: 08S01 (ER_NET PACKET TOO LARGE) 
Message: Got a packet bigger than "max allowed packet" bytes 


有 一 些 客户 端 还 会 在 包 过 大 时 ， 提 示 “Lost connection to MySQL server during query” 的 错误 。 


客户 端 和 服务 器 均 有 自己 的 max_allowed_packet 变 量 ， 因 此 ， 如 你 打算 处 理 大 的 信息 包 ， 则 必须 增加 客户 端 和 服务 器 上 的 该 变量 。 


如 果 你 正在 使 用 mysql 客 户 端 程序 ， 这 时 要 想 将 max_allowed_packet 变 量 设置 为 较 大 的 值 32M ， 可 用 下 述 方式 进行 修改 。 


mysql> set global max allowed packet=32*1024*1024; 


配置 文件 可 修改 如 下 。 


[mysqld] 
max allowed packet=32M 


增加 该 变量 的 值 很 安全 ， 这 是 因为 仅 当 需要 时 才 会 分 配额 外 的 内 存 。 例 如 ， 仅 当 你 发 出 长 查询 或 mysqld 必 须 返 回 大 的 结果 行 时 mysqld 才 会 分 配 更 多 的 内 存 。 该 变量 之 所 以 取 较 小 的 默认 值 也 是 一 种 : 


14.2.17 ”内 存 溢出 


32 位 机 器 中 有 内 存 寻 址 的 限制 ， 注 意 不 要 突破 2GB (一 般 32 位 系统 有 2.5~2.7GB 的 限制 ) 的 限制 ， 否 则 很 容易 导致 MySQL 崩 溃 ， 如 下 是 一 段 崩溃 时 候 的 报错 信息 。 


"100201 11:49:29 [ERROR] /usr/local/mysql/bin/mysqld: Out of memory (Needed 2095208 bytes)" 
100108 10:42:12 [ERROR] /usr/local/mysql/bin/mysqld: Out of memory (Needed 2095392 bytes) 
100108 18:30:10 [ERROR] /usr/local/mysql/bin/mysqld: Out of memory (Needed 156 bytes) 
100108 18:30:10 - mysqld got signal 11 7 


如 果 使 用 mysql 客 户 端 程序 发 出 了 查询 ， 并 收 到 下 述 错误 之 一 ， 则 表示 mysq| 没 有 足够 的 内 存 来 保存 全 部 查询 结果 。 


mysql: Out of memory at line 42, 'malloc.c' 
mysql: Out of memory at line 42, 'malloc.c' 
mysql: needed 8136 byte (8k), memory in use: 12481367 bytes (12189k) 
ERROR 2008: MySQL client ran out of memory 


14.2.18 MySQL 单 张 表 为 多 大 才 合 适 ， 为 什么 大 表 会 慢 


笔者 建议 单个 表 的 数据 在 干 万 条 以 下 ， 主 要 是 因为 MySQL5.0 和 MySQL 5.1 在 线 DDL 的 能 力 太 弱 ，MySQL 5.6 和 5.7 对 于 在 线 表 结 构 的 变更 做 了 许多 优化 ， 已 经 极 大 地 缓解 了 修改 表 结 构 对 于 生产 系 经 


生产 环境 中 ， 研 发 人 员 往 往 担心 表 太 大 了 性 能 会 下 降 ， 但 是 性 能 下 降 ， 往 往 是 受 多 个 因素 的 影响 ， 如 果 优化 得 好 ， 资 源 配置 适当 ， 表 的 设计 和 访问 充分 利用 了 MySQL 的 簇 表 结构 ， 比 如 ,访问 是 基 


InnoDB 缓 冲 很 重要 ， 如 果 我 们 的 热点 数据 能 够 被 缓存 ， 当 我 们 对 大 表 的 访问 能 够 命中 缓冲 时 ， 那 么 性 能 显然 也 会 很 好 。 


查找 。 


出 


对 于 一 些 大 表 的 访问 ， 如 果 随 机 读 过 多 ， 那 么 也 可 能 会 导致 严重 的 性 能 问题 ， 有 时 顺序 读 可 能 还 会 更 快 些 。 顺 序 读 ， 意 味 着 我 们 选择 的 是 全 表 扫 描 或 基于 主键 的 范 


项 目 初期 ， 研 发 人 员 对 于 数据 访问 的 模式 可 能 还 不 太 了 解 ， 设 计 了 比较 符合 范式 的 表 ， 那 么 查询 数据 时 往往 需要 连接 多 张 表 ， 在 数据 量 不 大 的 情况 下 ， 这 点 可 能 不 成 为 问题 ， 但 是 一 旦 表 的 数 拉 


清理 大 表 的 数据 时 ， 归 档 数 据 也 是 一 种 可 以 考虑 的 方式 ， 我 们 可 以 把 历史 表 分 离 到 更 差 的 机 器 或 磁盘 中 。 


对 于 OLTP 应 用 ， 


加 


为 MySQL 不 擅长 同时 处 理 大 量 短小 的 事务 和 一 个 巨大 的 事务 。 


如 果 必 须 对 大 量 数据 进行 操作 ， 那 么 分 批 地 小 批量 获取 数据 将 会 更 佳 ， 


14.2.19 “MySQL 最 大 能 支持 多 大 的 并 发 查询 


对 于 普通 的 数据 库 3 


14.2.20 ”创建 索引 出 错 


人 


二 


建 索引 可 能 会 报错 “ERROR 1170(42000)”。 


如 果 是 对 BLOB 或 TEXT 字段 建立 索引 ， 则 需要 设置 键 的 长 度 ， 否 则 会 出 错 。 


mysql> Create 
ERROR 1170 (42 


index idx col on table name (col); 
000) : BLOB/TEXT column 'col' used in key specification without a key length 


居 量 增 


机 (硬盘 采用 SSD) ， 一 般 简 单 的 查询 ( 读 写 混合 ) 可 以 达到 3000~5000 QPS (高 并 发 的 小 结果 集 ) 。 如 果 是 纯 基于 主键 的 查询 ， 则 QPS 可 以 更 高 。 但 如 果 是 复杂 的 查询 ， 可 外 


正确 的 做 法 是 ， 


mysql> create 


设置 键 的 长 度 


index idx col on table name (col (255)); 


14.3 ”故障 和 性 能 问题 处 理 


14.3.1 ”通过 减少 文件 排序 和 临时 表 提 高 性 能 


通过 检查 SHOW PROCESSLIST 输 出 或 慢 查 询 日 志 ， 我 们 可 以 筛选 出 开销 大 的 SQL， 通 过 EXPLAIN 检 查 它们 的 执行 计划 ， 我 们 会 发 现 它们 可 能 扫描 了 过 多 的 记录 数 ， 并 且 Extra 列 的 输出 类 似 了 


FF “Usir 


Using filesort 意 味 着 你 不 能 利用 索引 进行 排序 ，Using temporary 意 味 着 查询 使 用 了 临时 表 来 存储 数据 ， 如 果 临 时 表 超 过 了 限制 ， 那 么 还 可 能 需要 转变 成 磁盘 临时 表 ， 在 高 并 发 的 情况 下 ， 可 能 还 会 


如 果 我 们 把 Using temporary 和 filesort 优 化 掉 了 ， 往 往 也 就 解决 了 性 能 问题 。 对 于 临时 表 的 优化 ， 请 参考 6.2.10 节 ， 对 于 filesort 的 优化 ， 解 决 的 思路 就 是 尽量 利 


14.3.2 ”通过 慢 查询 快速 定位 导致 性 能 问题 的 SQL 


我 们 在 4.3 节 详细 介绍 了 慢 查 询 日 志 。 普 通 情 况 下 ， 我 们 通过 检查 慢 查 询 日 志 里 扫描 的 记录 数 ， 返 回 的 结果 集 及 响应 的 时 间 可 以 大 致 判断 出 不 良 SQL。 


一 般 在 没有 站 


索引 进行 排序 ， 如 果实 在 不 能 利 折 


性 能 问题 的 时 候 进行 检查 会 更 好 ， 因 为 这 个 时 候 ， 还 没有 出 现 SQL 互 相等 待 ， 资 源 严重 竞争 的 问题 ， 一 旦 出 现 互相 等 待 ， 慢 查询 的 大 量 输出 往往 会 扭曲 分 析 结果 。 对 


慢 查 询 


志 里 


如 何 定位 到 具体 的 不 良 SQL， 需 要 经 验 和 技巧 ， 通 过 不 断 地 累计 经 验 ， 你 会 越 来 越 熟 悉 通过 慢 查 询 快速 定位 问题 ， 如 果 有 自动 化 的 收集 信息 的 工具 会 更 好 ， 你 可 以 定期 扫描 慢 查询 日 志 ， 记 录 这 些 慢 


14.3.3 ”定位 导致 了 性 能 问题 的 客户 端 /应 用 服务 器 


许多 时 候 ， 我 们 碰 到 的 性 能 问题 都 是 来 自 于 一 些 特定 的 应 用 服务 器 ， 这 个 时 候 ， 要 求 我 们 能 够 快速 定位 到 连接 到 MySQL 的 可 疑 应 用 服务 器 ，SHOW PROCESSLIST 输 出 中 的 IP 信 息 会 帮助 我 们 找到 本 


netstat -ntp | grep :45384 
tcp 0 0 192.168.1.70:45384 192.168.1.82:3306 ESTABLISHED 28540/php-cgi 


以 后 就 可 以 对 进程 id 为 28540 的 php-cgi 进 程 做 更 多 的 诊断 。 


如 果 发 现 我 们 的 数据 库 连 接 里 有 大 量 的 sleep 状 态 的 连接 ， 那 么 可 以 使 用 如 上 的 方式 找到 对 应 应 用 服务 器 上 的 服务 。 


Oi 本 章 介绍 了 运 维 等 一 些 技 巧 及 常见 问题 的 处 理 。 在 日 常 运 维 过 程 中 ， 建 议 大 家 平时 积累 自己 的 知识 库 ， 记 录 下 故障 处 理 过 程 中 的 现象 、 影 响 、 处 理 措施 、 原 因 分 析 、 后 续 改善 等 信息 。 一 4 


第 15 章 ， 运 维 管理 


随 着 各 种 技术 的 快速 发 展 ， 现 今 的 DBA 可 以 比 以 前 的 DBA 维 护 多 得 多 的 数据 库 实 例 。DBA 已 经 越 来 越 像 一 个 资源 的 管理 者 ， 而 不 是 简单 的 操作 步骤 执行 人 。 本 章 将 为 读者 介绍 规模 化 运 维 之 道 。 首 和 


15.1 规模 化 运 维 


对 于 机 器 比较 少 的 公司 ， 我 们 可 能 不 需要 太 过 关注 一 些 规模 化 运 维 的 原则 ， 这 个 时 候 更 值得 优化 的 是 人 员 成 本 。 而 在 拥有 了 大 量 机 器 之 后 ， 我 们 必须 考虑 如 何 高 效 地 运 维 大 规模 的 数据 库 主机 ， 这 里 


15.1.1 ”基础 环境 


运 维 有 一 定 规模 的 数据 库 机 器 ， 需 要 做 到 软 硬 件 基础 环境 的 简单 化 和 标准 化 。 拥 有 稳定 的 底层 ， 才 能 确保 数据 库 正常 的 运行 。 我 们 的 基础 环境 要 满足 一 些 要 点 ， 可 以 归纳 为 简单 化 、 标 准 化 、 自 动 化 


我 们 需要 首先 从 底层 基础 设施 的 标准 化 开始 入 手 ， 这 是 基础 ， 只 有 标准 化 了 ， 我 们 才 好 做 运 维 平 台 ， 开 发 运 维 工具 。 有 了 标准 化 的 数据 ， 我 们 才能 方便 地 构建 性 能 模型 和 容量 模型 ， 才 能 在 这 个 基础 


基础 环境 配置 的 标准 化 和 统一 ， 将 给 后 续 的 运 维 带 来 便利 ， 所 以 务必 要 在 一 开始 就 有 步骤 地 进行 实施 ， 保 证 了 基础 环境 的 标准 化 ， 才 能 在 后 续 实现 大 规模 的 自动 化 和 信息 收集 。 


基础 环境 中 的 一 些 注意 事项 如 下 。 


1) 操作 系统 的 版 本 要 统一 ， 不 要 追求 操作 系统 的 先进 性 


MySQL 推 荐 运行 于 Linux 下 。 据 统计 ，90% 的 MySQL 用 户 使 用 Linux 做 生产 环境 ，80% 的 MySQL 用 户 使 用 Linux 做 开发 环境 ， 大 部 分 大 网 站 也 都 使 


Linux。 各 大 厂商 都 大 力 支持 Linux，Linux 同 时 共 


操作 系统 技术 发 展 到 现在 ， 管 理 越 来 越 简单 ， 特 性 越 来 越 丰富 ， 但 是 核心 的 东西 相对 变 得 较 少 ， 对 于 操作 系统 ， 笔 者 觉得 应 该 保守 些 ， 我 们 的 数据 库 服务 器 是 面向 企业 的 ， 面 


向 海量 用 户 的 ， 上 面 运 


操作 系统 上 自 带 的 各 种 应 用 ， 如 gcc、MySQL， 都 远 远 落 后 于 最 新 的 版 本 ， 这 是 一 种 自然 的 事情 ， 因 为 它 追 求 的 是 稳定 性 。 你 可 以 安装 那些 新 的 应 用 ， 但 这 些 新 的 版 本 可 能 并 未 经 历 相应 操作 系统 版 


架构 简单 的 一 个 重要 前 提 是 标准 ， 应 用 程序 /网 络 服务 器 软件 使 用 相同 的 基础 平台 ， 而 不 是 各 种 版 本 的 操作 系统 都 上 。 操 作 系统 的 不 统一 将 在 未 来 使 运 维 就 得 很 复杂 ， 因 为 哪怕 是 一 点 小 小 的 不 同 ， 者 


我 们 所 使 用 的 操作 系统 应 该 是 应 用 得 最 广泛 的 ， 配 置 也 应 该 是 基于 主流 的 基础 设置 ， 这 样 可 以 大 大 降低 学 习 和 维护 的 难度 ， 学 习 新 系统 的 也 是 需要 成 本 的 ， 而 且 ， 对 于 数据 库 服务 器 来 说 ， 操 作 系 统 


(2) 应 该 使 用 64 位 的 操作 系统 


64 位 的 操作 系统 对 比 32 位 的 操作 系统 有 许多 的 好 处 ， 一 般 情况 下 ， 它 的 兼容 性 更 好 、 性 能 更 好 、 资 源 利 


(3) 自动 化 你 的 部 署 


率 更 好 ， 所 以 ， 建 议 在 生产 环境 中 ， 不 是 出 于 特殊 的 原 


许多 中 小 公司 ， 在 自动 化 运 维 没有 发 展 之 前 ， 信 息 的 组 织 依赖 于 许多 表格 ， 部 署 过 程 都 是 按 文档 的 顺序 逐步 来 进行 的 ， 部 署 完 一 个 服务 


规模 化 的 运 维 ， 可 以 通过 一 些 自动 化 手段 ， 让 部 署 、 上 下 线 操作 变 得 更 容易 ， 基 本 上 不 需要 你 介入 。 你 能 够 通过 自动 检测 、 自 动 处 理 的 方式 上 下 线 数据 库 资源 。 


我 们 可 以 定制 操作 系统 、 编 写 脚 本 ， 自 动 化 部 署 各 种 操作 ， 也 有 一 些 开源 软件 的 方案 ， 比 如 使 用 puppet 进 行 配置 管理 。 一 些 公司 ， 还 专门 设计 了 应 | 


(4) 了 解 你 的 生产 负荷 ， 搭 建 监控 平台 ， 收 集 一 切 信 息 


因 ， 都 应 该 使 


64 位 的 。 


后 ， 还 需要 一 个 长 长 的 检查 列表 来 核对 部 署 是 否 正确 ， 由 于 检 


运 维 平台 、 数 据 库 运 维 平台 ， 在 一 个 统一 的 平 E 


我 们 应 该 熟悉 服务 是 MO 密集 型 的 、 内 存 消 耗 型 的 ， 还 是 CPU 密集 型 的 ， 对 于 大 规模 部 署 的 机 器 ， 越 了 解 你 的 生产 负荷 ， 你 就 越 知道 它 适 合 部 署 在 什么 样 的 机 器 上 ， 应 该 如 何 充分 利用 资源 ， 由 于 历 ! 


熟悉 你 的 负荷 ， 你 才能 提前 升级 硬件 或 扩容 ， 对 于 数据 库 类 的 应 用 ， 要 重点 关注 内 存 的 资源 瓶颈 ， 硬 盘 、CPU、 网 络 等 资源 瓶颈 往往 只 会 使 程序 变 得 缓慢 ， 这 点 也 许 能 忍受 ,但 一 旦 出 现 内 存 瓶颈 ， 


我 们 应 持续 不 间断 地 收集 信息 ， 在 现 有 数据 的 基础 上 ， 分 析 趋 势 ， 构 建 模型 。 有 了 数据 ， 也 方便 我 们 进行 性 能 调 优 ， 调 整 架构 设计 ， 从 而 验证 程序 变更 的 效果 。 


(5) 不 要 在 数据 库 机 器 上 部 署 


他 服务 


复杂 的 环境 将 导致 整体 系统 的 不 稳定 性 ， 导 致 复杂 的 诊断 。 


以 上 5 点 主要 说 明了 运 维 数据 库 机 器 的 一 些 关注 点 ， 这 也 是 早期 中 小 型 公司 可 能 犯 的 错误 ,特别 是 最 后 一 点 ， 为 了 利用 资源 ， 在 数据 库 机 器 上 部 署 其 他 服务 ， 往 往 会 导致 


有 了 好 的 基础 ， 我 们 才能 适应 未 来 的 真正 的 大 规模 的 数据 库 主 机 运 维 。 当 你 的 公司 规模 变 得 更 大 的 时 候 ， 你 的 数据 库 运 维 成 本 不 会 增加 太 多 。 


15.1.2 虚拟 化 


现 更 多 的 问题 。 


在 计算 机 技术 中 ， 虚 拟 化 是 一 种 资源 管理 技术 ， 是 将 计算 机 的 各 种 实体 资源 ， 如 服务 器 、 网 络 、 内 存 及 存储 等 ， 予 以 抽象 、 转 换 然 后 呈现 出 来 ， 打 破 实 体 结构 间 的 不 可 切割 的 障碍 ， 使 用 户 可 以 用 比 


计算 服务 器 虚拟 化 的 成 本 时 需要 考虑 4 个 因素 : 硬件 成 本 、 能 源 成 本 、 软 件 成 本 和 人 力 成 本 。 你 需要 综合 评估 虚拟 化 改造 对 成 本 的 影响 。 


虽然 虚拟 化 在 一 些 场景 和 一 些 应 用 中 取得 了 成 功 ， 我 们 也 总 是 说 虚拟 化 节约 了 成 本 ， 但 我 们 有 必要 思考 一 下 ， 真 的 是 虚拟 化 节约 了 成 本 呢 ， 还 是 有 其 他 的 因素 帮助 节约 了 成 本 ? 影响 成 本 的 因素 有 哪 


市 场 上 ， 有 一 种 观点 ， 认 为 虚拟 化 技术 可 以 大 大 节省 成 本 ， 


实 ， 服 务 器 虚拟 化 技术 是 否 能 够 带 来 成 本 节约 及 节约 多 少 都 取决 于 自身 的 架构 。 如 果 一 台 物理 机 上 运行 了 多 个 虚拟 机 ， 但 它 的 资源 利用 


那么 ， 为 什么 还 是 有 那么 多 公司 宣称 虚拟 化 节省 了 大 量 成 本 呢 ? 这 是 因为 他 们 的 机 器 规模 已 经 很 大 了 ， 但 利用 率 的 问题 一 直 没有 得 到 解决 ， 软 件 程序 架构 一 直 无 法 充分 利用 资源 ， 主 要 是 CPU 资源 ， 


目前 主要 是 应 用 服务 器 的 虚拟 化 ， 而 数据 库 的 虚拟 化 还 少 有 人 做 ， 原 因 在 于 数据 库 的 高 /O 负 荷 难 以 被 隔离 ， 且 多 个 虚拟 机 对 底层 存储 设备 的 操作 效率 不 高 。 另 一 个 需要 考虑 的 因素 是 数据 库 的 安全 


sl 关于 去 |OE 


去 IOE 是 一 个 比较 流行 的 说 法 ， 即 去 掉 IBM、Oracle、EMC 这 些 软 硬 件 设备 ， 以 其 他 的 解决 方案 来 代替 。IBM 的 服务 器 +Oracle 数 据 库 + EMC 存 储 是 非常 流行 的 组 合 ， 大 量 的 企业 都 在 使 用 这 样 的 架 | 


支持 或 赞同 去 IOE 的 人 都 不 在 少数 ， 我 认为 这 个 说 法 有 些 简 单 ，“ 口 号 ”可 能 掩盖 了 许多 问题 ， 传 统领 域 和 互联 网 领域 的 工作 人 员 、 软 硬件 的 协同 工作 方式 存在 很 大 的 不 同 。 对 于 互联 网 行业 ， 往 往 - 


对 于 绝 大 部 分 传统 行业 ， 仍 然 要 回归 到 | 商业 的 本 质 ， 你 要 满足 什么 要 求 ， 达 到 什么 目的 ， 不 能 为 去 IOE 而 去 IOE。 如 果 你 的 系统 已 经 很 稳定 了 ， 你 对 自己 的 生产 配置 有 信心 ， 你 的 公司 也 需要 稳健 ,1 


使 用 IOE 的 好 处 是 ， 当 你 的 系统 中 某 一 环节 出 现 问题 时 ， 你 能 迅速 地 向 


他 出 现 过 类 似 问题 的 用 户 请 教 。 同 时 这 三 家 厂商 已 经 磨合 得 非常 好 了 ， 在 向 他 们 寻求 帮助 的 时 候 也 更 简单 一 些 。 这 样 能 够 把 


15.1.4 ”资源 利用 和 隔离 


硬件 的 发 展 很 快 ， 目 前 单机 的 性 能 数据 也 在 不 断 提 升 ， 固 态 硬盘 已 经 在 互联 网 公司 获得 大 规模 的 使 用 ， 可 以 说 ,价格 已 经 不 成 为 问题 ,许多 公司 都 配备 了 固态 硬盘 或 FLASH 卡 ， 相 对 于 传统 的 机 械 硬 


为 了 充分 利用 多 处 理 器 /多 核 系 统 ， 程 序 需要 有 并 行 运行 的 能 力 ， 也 就 是 说 ， 可 以 同时 在 多 颗 CPU 核 上 运行 。 早 期 的 官方 MySQL 版 本 由 于 使 


了 | 旧 的 InnoDB 引 擎 ， 导 致 扩展 性 有 限 ， 难 以 充分 利用 C 


由 于 在 单机 上 仅仅 部 署 一 个 MYSQL 已 经 无 法 充分 利用 机 器 了 ， 所 以 我 们 往往 在 一 台 单机 上 部 署 多 个 MySQL 实 例 以 充分 利用 资源 。 这 样 就 可 能 出 现 各 个 实例 资源 争 用 的 情况 ， 因 此 我 们 有 必要 对 主机 . 


目前 在 业内 推荐 使 用 的 资源 隔离 的 方案 是 CGroup， 它 是 Linux 内 核 提供 的 一 种 资源 隔离 技术 ， 可 以 对 CPU、 内 存 、I/O 等 资源 进行 隔离 。CPU 和 内 存 相 对 来 说 比较 好 隔离 ， 磁 盘 |/O 则 不 太 好 隔离 ，F 


一 些 DBA 使 


的 是 更 简单 的 绑 定 CPU 的 策略 ， 通 过 numactl 或 task 等 命令 把 MySQL 实 例 绑 定 到 某 颗 CPU 上 ， 绑 定 CPU 不 仅 在 一 定 程度 上 隔离 了 CPU 资源 ， 通 常 也 能 获得 比较 大 的 性 能 提升 。 建 议 单 本 


numact1 --cpunodebind=0 --localalloc 


绑 定 CPU， 要 注意 冲突 ， 如 果 你 绑 定 了 一 颗 本 来 就 很 繁忙 的 CPU， 那 么 即使 有 空闲 的 CPU， 你 也 利用 不 上 它 。 


关于 NUMA 及 numactl 的 详细 介绍 ， 请 参考 18.3.2 节 。 


以 上 针对 的 


其 他 资源 也 可 以 进行 适当 的 隔离 ， 比 如 通过 多 个 IP 的 方式 ， 把 MySQL 绑 定 到 不 同 的 网 卡 上 。 


要 是 多 实例 的 资源 隔离 ， 我 们 也 可 以 在 数据 库 上 做 一 些 资源 限制 ，MySQL 支 持 对 用 户 的 简单 的 资源 限制 ， 比 如 允许 一 定时 间 内 运行 命令 的 次 数 、 进 行 连接 的 次 数 ， 但 MySQL 的 资源 管 : 


15.1.5 ”关于 备 机 、 备 份 


对 于 应 用 服务 器 ， 在 大 量 服务 器 下 ， 更 多 的 是 考虑 弹性 扩展 的 能 力 ， 可 以 动态 地 添加 计算 资源 ， 这 比 预 留 一 些 备用 节点 更 适合 。 而 对 于 数据 库 机 器 ， 一 般 选择 主 从 架构 ， 留 一 个 空闲 的 备 机 作 备用 。 


在 大 批量 机 器 下 ,许多 人 会 怀疑 保留 一 个 完全 空闲 的 备 机 的 合理 性 。 我 不 确定 以 后 随 着 技术 的 发 展 ， 是 否 会 有 一 个 很 好 的 方案 ， 可 以 用 少 得 多 的 机 器 支撑 业务 。 但 目前 来 说 ， 对 于 绝 大 部 分 企业 ,使 


我 比较 怀疑 国内 的 公司 是 不 是 都 严格 遵守 了 “N+1” 的 策略 。 一 主 一 从 的 架构 ， 如 果 严 格 执行 ， 可 能 有 许多 备用 服务 器 。 不 过 现在 的 数据 库 服务 器 都 比较 强劲 ， 多 实例 下 ， 已 经 节省 了 许多 备用 资源 


大 量 的 节点 ， 用 于 备份 中 心 的 投资 自然 就 会 很 高 ， 但 一 般 来 说 ， 对 数据 进行 备份 的 成 本 远 远 小 于 丢失 数据 带 来 的 损失 。 如 果 你 考虑 到 这 一 点 ， 那 么 你 将 没有 理由 削减 备份 的 投资 。 


业内 的 数据 库 服务 器 一 般 在 从 库 进 行 备份 ， 但 是 随 着 数据 越 来 越 大 ， 也 需要 留意 大 数据 或 大 量 节点 下 的 一 个 趋势 ， 数 据 使 用 副本 ， 不 需要 定期 备份 也 是 可 能 的 。 


15.2 ”服务 器 采购 


服务 器 采购 需要 在 性 能 和 成 本 之 间 做 一 个 平衡 ， 建 议 读者 跟踪 使 用 主流 的 配置 ， 主 流 的 硬件 由 于 是 大 批量 生产 ， 因 此 更 容易 降低 成 本 ， 比 如 ， 我 们 倾向 于 使 用 普通 的 服务 器 ， 双 路 CPU 就 足够 了 ， 没 


当 我 们 采购 硬件 或 部 署 新 的 系统 时 ， 我 们 可 能 被 要 求 选择 更 经 济 的 方式 ， 以 合理 的 成 本 实现 目标 的 性 能 要 求 。 影 响 性 能 的 因素 有 许多 ， 比 如 CPU 的 个 数 、 磁 盘 的 个 数 、 磁 盘 RAID 级 别 、 内 存 容量 、F 


为 了 实现 以 最 小 的 成 本 实现 性 能 的 需求 ， 我 们 可 能 需要 做 许多 测试 和 验证 ， 因 为 我 们 需要 组 合 许多 不 同 的 软 硬 件 的 搭配 。 更 具 实 践 性 的 方式 是 ， 依 据 经 验 ， 选 择 测试 某 些 组 合 下 的 性 能 ， 最 终 确 定 何 


如 果 我 们 知道 最 大 可 能 的 硬件 配置 ， 那 么 可 以 按 如 下 步骤 选择 配置 。 


1) 测试 所 有 组 件 都 是 最 佳 配置 时 候 的 性 能 。 


2) 逐个 改变 各 个 部 件 的 配置 ， 然 后 测试 性 能 。 


3) 通过 以 上 步骤 ， 我 们 可 以 得 出 大 致 的 结论 ， 当 我 们 使 用 更 低 的 成 本 ， 减 少 某 个 部 件 的 配置 时 ， 比 如 减少 内 存 ， 我 们 的 性 能 会 损失 多 少 。 


4) 然后 ， 从 最 大 配置 开始 ， 我 们 逐步 调整 各 种 部 件 的 配置 ， 最 终 得 到 一 个 组 合 ， 能 尽 可 能 以 最 小 的 成 本 实现 性 能 的 需求 。 


5) 再 次 测试 ， 验 证 这 个 配置 是 否 满足 需要 。 


每 个 公司 所 选择 的 标 配 服务 器 都 不 尽 相 同 ， 因 为 需要 契合 自己 的 业务 ， 考 虑 的 角度 就 会 不 一 样 。 而 且 随 着 市 场 的 变化 ， 主 流 配 置 也 许 很 快 就 过 时 了 ， 在 此 就 不 列举 服务 器 具体 配置 的 例子 了 。 读 者 可 


15.3 ” 运 维 规则 


为 什么 我 在 基础 知识 里 ， 增 加 了 一 项 运 维 规则 的 介绍 呢 》 对 于 运 维 ， 除 了 平台 、 工 具 、 知 识 、 经 验 ， 意 识 也 是 非常 重要 的 ， 有 正确 的 认 知 、 意 识 ， 就 可 以 让 运 维 数据 库 得 心 应 手 ， 又 稳 又 好 地 运行 大 


以 下 将 重点 介绍 数据 库 运 维 的 36 条 规则 。 这 些 规则 可 能 互相 之 间 有 冲突 ， 不 同 的 人 ， 可 能 侧重 点 也 不 同 ， 但 总 体 目标 是 一 致 的 ， 都 是 为 了 服务 的 质量 。 读 者 也 可 以 跳 过 本 节 ， 待 有 一 定 的 经 验 后 再 澡 


15.3.1 ”确保 基础 网 络 稳定 可 靠 


此 网 络 的 不 可 靠 ， 将 直接 影响 到 数据 库 服务 器 和 应 用 服务 器 的 稳定 和 性 能 ， 网 络 的 复杂 性 ， 也 可 能 导致 应 用 软件 变 得 复杂 ， 对 此 应 该 有 清晰 的 认识 


因为 网 络 在 应 用 层 软 件 和 数据 库 软件 的 下 一 层 ， 


轩 
团 


15.3.2 ”应 构建 性 能 模型 ， 进 行 容量 规划 


一 些 较 大 的 公司 ， 可 能 有 比较 完善 的 性 能 模型 ， 以 尽 可 能 地 进行 容量 规划 。 而 小 公司 ， 可 能 更 多 地 信任 监控 机 制 ， 并 没有 进行 容量 规划 。 随 着 公司 地 不 断 发 展 ， 容 量 模型 是 需要 逐步 建立 的 ， 至 于 效 


传统 行业 的 容量 规划 ， 往 往 比较 固定 ， 可 以 预知 ， 因 此 按 生 产 任务 来 安排 即 可 。 而 互联 网 行业 有 许多 变数 ， 业 务 的 增长 可 能 是 爆炸 式 的 ， 新 增 的 业务 ， 有 时 会 资源 紧张 ， 有 时 资源 又 十 分 空 闪 。 如 果 


容量 规划 ， 应 该 提早 发 现 是 否 需要 扩容 ， 要 更 主动 。 需 要 留 有 一 定 的 余 量 ， 这 样 才能 心中 有 数 、 遇 事 不 慌 。 如 果 流 量 突然 增长 ， 可 能 会 导致 业务 受到 影响 ， 甚 至 下 线 ， 我 们 可 以 理解 这 也 是 某 种 程度 


应 该 把 容量 规划 作为 一 个 常规 的 工作 定期 检查 。 如 果 有 合适 的 预测 模型 会 更 好 ， 但 更 多 情况 下 可 能 仍然 是 基于 自己 的 经 验 分 析 ， 对 业务 了 解 得 越 深 ， 对 性 能 的 规划 ， 就 会 更 准确 、 更 有 前 瞻 性 。 


15.3.3 ”优先 扩容 ， 再 考虑 优化 


尽量 不 要 在 容量 和 性 能 的 高 度 压 力 下 考虑 优化 ， 先 扩容 ， 把 危险 症状 降低 下 来 ， 然 后 再 考虑 优化 ， 往 往 是 更 靠 谱 的 ， 除 非 你 有 把 握 ， 能 够 在 短 时 间 内 通过 调整 让 性 能 瓶 矣 消失 。 


15.3.4 保持 简单 


生产 中 的 异常 往往 是 由 复杂 性 导致 的 。 我 们 要 区 分 哪些 复杂 是 必然 的 ， 哪 些 是 由 于 “想当然 的 ”或 “错误 的 理解 ”导致 的 。 比 如 ， 跨 IDC 的 网 络 复杂 性 就 是 必然 的 ， 需 要 更 复杂 的 处 理 策略 。 而 过 多 | 


我 们 不 要 因为 解决 问题 ， 而 在 你 的 架构 中 引入 “新 的 问题 ”。 对 于 核心 架构 或 算法 的 调整 ， 往 往 会 导致 异常 ，“ 回 归 测试 ”可 以 发 现 一 些 问题 ， 但 更 多 地 依赖 于 研发 人 员 对 于 风险 的 认识 ， 应 尽 可 能 


15.3.5 ”监控 一 切 


监控 一 切 ， 记 录 一 切 数据 。 当 我 们 有 了 数据 ， 才 能 验证 自己 的 想法 ， 才 能 辅助 我 们 进行 决策 。 监 控 的 不 仅仅 是 性 能 数据 ， 也 包括 了 产品 、 运 营 、 研 发 各 个 部 门 所 关心 的 数据 。 多 记录 一 些 数据 ， 总 不 


15.3.6 ”处 理 监控 报警 


应 该 注意 监控 报警 是 能 够 采取 措施 的 ,或 者 说 ， 能 够 找到 合适 的 人 来 处 理 的 。 我 们 在 部 署 监控 平台 时 ， 容 易 犯 的 一 个 错误 是 ， 报 警 太 多 ， 而 有 很 多 报警 ， 却 是 不 需要 处 理 的 ， 每 个 人 每 天 关注 事物 的 


15.3.7 不 要 重复 “ 造 轮子 ” 


不 要 重复 “ 造 轮子 ”， 也 不 要 什么 都 从 外 部 获取 ， 如 工具 、 代 码 、 框 架 等 。 需 要 考虑 的 是 在 合适 的 时 间 以 合适 的 成 本 切入 ， 投 资 回报 率 也 是 需要 考虑 的 。 


一 般 来 说， 每 个 公司 都 存在 重复 “ 造 轮子 ”的 现象 ， 而 且 许多 人 都 热 囊 于 此 ， 可 能 需要 用 这 样 的 项 目 来 证 明 自己 。 但 是 ， 他 们 并 没有 考虑 到 一 个 重要 的 指标 : 投入 / 产 出 比 。 如 果 能 够 充分 利用 社区 自 


对 于 开源 产品 应 该 尽量 选择 国外 的 产品 ， 笔 者 这 么 说 有 些 无 奈 ， 虽 然 国 内 有 许多 公司 都 在 拥抱 开源 ， 但 更 多 的 是 个 人 行为 ， 普 遍 来 说 ， 国 内 的 开源 产品 ， 往 往 缺 乏 维护 ， 缺 乏 更 高 层次 的 性 能 、 架 构 


15.3.8 “人 允许 出 错 


允许 


加 


有 时 


当然， 


错 的 运 维 文化 ， 传 统 的 绩效 考核 (KPI) 可 能 会 对 此 形成 不 必要 的 标 档 。 人 往往 从 错误 中 才能 得 到 成 长 ， 所 以 犯 一 些 错误 都 是 可 以 理解 的 ， 关 键 是 我 们 要 建立 一 套 机 制 ， 让 错误 能 够 尽 可 能 快 i 


内 的 现状 ， 确 实 有 些 片面 地 放大 了 故障 现象 。 即 使 是 Google、Facebook、Twitter、Amazon 这 样 的 公司 ， 也 会 偶尔 出 故障 ， 影 响 面 不 一 定 比 国内 的 公司 小 。 这 个 世界 上 ， 只 要 存在 着 硬件 载体 ， 


现 性 能 问题 ， 往 往 是 一 件 好事 ， 因 为 这 往往 伴随 着 流量 的 巨大 增长 。 而 在 一 定 的 时 间 内 ， 问 题 总 是 可 以 解决 的 ， 我 还 从 来 没有 碰 到 过 用 时 间 解 决 不 了 的 技术 问题 ， 最 重要 的 是 经 过 问题 的 解决 


我 不 是 鼓励 冒险 主义 ， 有 计划 的 冒险 才 是 可 取 的 。 在 不 同 的 时 间 段 ， 解 决 不 同 的 技术 问题 ， 往 往 是 对 现实 的 反映 。 超 前 或 滞后 太 多 ， 也 不 可 取 。 


生产 环境 应 该 允许 犯错 误 ， 而 且 应 该 是 建立 在 可 控 的 前 提 下 。 备 份 、 备 份 、 再 备份 ， 保 证 可 回 滚 ， 是 一 个 好 习惯 。 


失误 ， 


所 以 ， 


重复 性 的 失误 ， 往 往 可 以 找到 客观 规律 ， 然 后 用 流程 、 规 范 和 工具 避免 错误 。 


往往 还 出 现在 周末 ， 出 现在 非 正 常 升 级 时 间 ， 在 打破 常规 的 情况 下 ， 在 人 的 体力 、 智 力 处 于 低谷 期 的 时 候 ， 将 增加 故障 的 概率 ， 毕 竟 人 不 是 机 器 ， 由 于 生理 问题 可 能 会 导致 出 现 错误 。 


很 多 问题 或 故障 的 发 生 ， 表 面 上 看 是 技术 、 经 验 问 题 ， 但 更 本 质 的 还 是 属于 人 员 组 织 的 问题 。 团 队 管 理 者 需要 知道 组 员 能 否 适 应 需要 ， 关 注 其 成 长 ， 给 予 适当 压力 ， 但 也 别 过 度 了 ， 并 且 还 要 


15.3.9 ”设置 备用 角色 


备用 角色 的 作用 不 容 置疑 。 有 备用 角色 ， 才 可 以 让 我 们 的 工作 不 被 打 断 ， 当 主要 角色 请 假 ， 或 者 因为 过 度 劳 累 ， 备 用 角色 可 以 马上 启用 。 这 样 可 以 让 我 们 的 工作 不 会 陷入 被 动 。 


15.3:10 


仔细 阅读 产品 文档 


在 进行 任何 操作 之 前 ， 都 建议 详细 阅读 文档 。 产 品 的 说 明 手 册 ， 比 如 RAID 卡 的 说 明文 档 ， 就 需要 仔细 阅读 ， 以 便 选择 合适 的 参数 配置 。 


通常 来 说 ， 默 认 的 配置 并 不 适合 于 生产 环境 ， 关 于 数据 库 的 升级 ， 网 上 可 能 有 各 种 操作 说 明文 档 ， 但 仍 会 遗 ; 


ls:3ll 


画 数据 流 图 和 物理 部 署 图 


eal 


我 们 做 的 所 有 事情 和 变更 ， 都 应 该 尽 可 能 地 纳入 版 本 管理 。 文 档 、 应 用 程序 配置 、 监 控 配 置 这 些 都 比较 容易 实现 版 本 控制 ， 版 本 管理 系统 容易 管理 文档 和 代码 ,但 


i533 


由 于 公司 有 分 工 ， 某 些 人 往往 只 负责 部 分 系统 ， 缺 乏 对 整体 系统 的 把 握 。 有 可 能 的 话 ， 应 用 系统 运 维 工 程 师 应 该 画 出 自己 的 物理 部 署 


中 | 


， 从 而 了 解 自己 的 系统 ， 对 于 数据 流 


[ 


要 有 版 本 控制 


解决 问题 要 用 合适 的 工具 


局 许多 细节 ， 而 且 在 特定 的 生产 环境 中 什么 都 有 可 能 发 生 ， 因 此 ， 要 详细 阅读 相关 版 本 的 


， 软 件 研发 人 员 也 应 该 


他 类 型 的 配置 就 不 容易 实现 版 本 


有 些 工 具 比 较 通 用 ， 但 对 于 特定 的 问题 可 能 就 会 不 适合 ， 有 些 工具 只 针对 特殊 的 场景 ， 那 么 我 们 就 要 看 ， 对 我 们 是 否 真 的 有 用 。 一 般 来 说 ， 通 用 的 工具 只 适合 初期 ， 到 了 规模 庞大 的 时 候 ， 往 往 需要 


15.3.14 


我 们 需要 监控 一 切 ， 这 样 才能 预先 发 现 系统 的 瓶颈 。 对 于 一 些 资源 的 争 用 ， 通 过 监控 系统 就 能 够 直观 地 反映 出 来 。 而 对 于 一 些 隐藏 比较 深 的 资源 瓶颈 和 系统 瓶颈 ， 往 往 需要 我 们 利用 各 种 工具 ， 


系统 工程 师 要 具备 定位 瓶颈 的 能 力 


运 维 工程 师 要 分 清楚 是 哪些 资源 出 现 了 瓶颈 ， 不 要 混淆 了 现象 和 原因 。 


高 级 工程 师 和 初级 工程 师 有 一 个 很 大 的 


定位 瓶颈 ， 还 需要 了 解 较 多 的 其 他 领域 


15.3.15 ”确保 无 线 网 络 的 稳定 


随 着 人 们 工作 、 生 活 的 变迁 ， 越 来 越 多 的 人 趋向 于 移动 办 公 ， 


15.3.16 ”确保 访问 生产 网 络 时 有 备用 的 访问 方式 


现在 许多 人 是 在 家 里 办 公 或 处 理 故 障 的 


许多 公司 是 使 用 VPN 设 备 来 远程 访问 生产 网 络 的 ，VPN 设 备 应 该 也 部 署 在 生产 机 


15.3.17 ”让 优秀 的 人 做 工具 /平台 


许多 互联 网 公司 都 有 基础 平台 的 技术 部 


， 那 么 公司 需要 保证 在 非 办 公 区 也 能 够 访问 生产 网 络 ， 员 工 在 外 


门 ， 专 门 负责 开发 一 些 基础 平台 、 工 具 和 服务 ， 提 供给 各 个 应 用 研发 | 


应 用 软件 的 研发 与 平台 、 工 具 的 研发 毕竟 是 不 一 样 的 。 如 果 基 础 不 者 ， 其 实业 务 的 风险 更 大 。 集 中 人 力 和 


我 觉得 关于 这 点 ， 大 家 应 该 学 一 学 硅谷 的 一 些 公司 ， 让 优秀 的 人 去 做 平台 和 工 


没有 足够 经 验 的 工程 师 经 常会 犯 这 个 错误 。 


区 别 ， 高 级 工程 师 知道 如 何 去 定 位 瓶颈 所 在 。 他 们 不 仅 知 道 如 何 使 用 工具 ， 还 知道 何 时 、 何 地 、 为 什么 去 使 用 工具 ， 这 样 ， 他 才 有 可 能 在 问题 爆发 之 前 ， 就 定 


的 知识 ， 因 为 数据 可 能 要 经 过 很 多 环节 ， 如 本 地 电脑 、 浏 览 器 、DNS 服 务 、 负 载 均衡 设备 、 应 用 服务 器 等 。 在 自己 熟悉 的 工具 和 领域 之 外 ， 了 解 其 他 领域 大 栖 


或 旅游 的 时 候 ， 应 该 带 上 电脑 、 上 网 卡 等 设备 ， 保 证 


时 间 做 一 些 平台 和 工具 ， 其 实 是 节省 成 本 的 。 当 然 ， 


15.3.18 ”要 有 分 工 ， 每 个 角色 都 很 重要 


实际 的 大 规模 数据 库 机 器 的 运 维 ， 离 不 


分 工 还 有 另外 一 层 含义 ， 所 有 需要 了 解 


15.3.19 ”其 他 团队 应 能 轻松 获取 生产 环境 信息 


训练 有 素 的 工程 师 ， 他 们 需要 有 许多 知识 、 经 验 和 技巧 ， 也 必然 需要 分 工 ， 比 如 有 开发 数 


， 并 提供 最 好 的 待遇 ， 给 予 足够 的 尊重 ， 对 于 他 们 的 衡量 标准 也 应 该 不 同 。 


的 技术 领域 ， 都 应 该 有 相应 的 人 在 跟 进 ， 通 过 交流 和 分 享 ， 可 以 研究 多 得 多 的 知识 。 


在 公司 内 部 ， 很 多 人 也 是 用 笔记 本 接 入 无 线 网 络 的 ， 所 以 需要 保证 办 公 无 线 网 络 的 稳定 、 方 便 和 安全 。 


E 在 需要 的 时 间 内 能 够 及 时 响应 。 


房 中 ， 而 不 是 放 在 办 公 网 络 里 。VPN 设 备 不 应 该 是 唯一 的 访问 方式 ， 我 们 应 该 确保 如 果 VPN 设 备 发 生 故 障 ， 我 们 仍 和 


团队 使 用 。 但 这 往往 是 一 个 短期 内 难以 见 到 效益 的 事情 ， 许 多 时 候 ， 业 务 的 发 展 一 般 ， 对 


前 提 是 ， 你 确实 有 一 批 高 素质 的 工程 师 


居 库 运 维 平 台 的 、 专 门 操作 数据 库 的、 专门 进行 调 优 的 、 专 门 进行 


许多 公司 都 存在 的 一 些 问题 是 ， 运 维 的 生产 系统 管 得 太 死 ， 导 致 研发 人 员 不 能 得 知 项 目的 实际 运行 情况 ， 运 维 人 员 的 顾虑 是 ， 不 能 让 研发 直接 访问 生产 环境 ， 如 果 给 了 研发 人 员 生 产 服务 器 的 权限 ， 


15.3.20 ”由 独立 的 系统 处 理 代 码 性 能 问题 


对 于 一 些 难以 解决 的 架构 和 代码 问题 ， 我 们 需要 一 套 独 立 的 系统 来 跟踪 和 处 理 。 因 


15.3.21 运 维 人 员 应 介入 产品 开发 的 初期 


为 运 维 故障 处 理 系统 记载 的 问题 ， 很 容易 就 会 被 遗忘 了 。 


运 维 人 员 应 该 从 产品 的 设计 阶段 就 跟 进 ， 这 意味 着 从 一 开始 就 要 考虑 可 靠 性 、 扩 展 性 、 维 护 性 和 监控 。 研 发 人 员 可 能 会 更 多 地 考虑 到 功能 的 扩展 ， 运 维 人 员 可 能 会 更 偏向 于 多 集群 、 宛 余 这 些 运 维 架 


15.3.22 ”关注 安全 


初创 小 公司 或 中 小 公司 ， 在 安全 上 往往 没有 投入 人 力 资源 ， 而 是 更 多 地 依赖 于 研发 工程 师 或 运 维 工程 师 的 经 验 和 习惯 。 在 没有 独立 安全 团队 的 时 候 ， 我 们 要 遵循 一 些 安全 的 经 验 法 则 ， 比 如 配置 文件 


15.3.23 ”关注 配置 管理 


配置 管理 是 指 对 不 断 变化 的 软 硬 件 资源 进行 识别 、 记 录 和 管理 。 


15.3.24 ”对 优先 级 进行 管理 


线 上 业务 ， 应 该 是 有 优先 级 的 。 我 们 应 该 按照 紧急 程度 和 影响 范 


15.3.25 不 要 为 了 优化 而 优化 


这 方面 的 内 容 读者 可 以 参考 ITIL 相 关 的 图 书 。 现 实 中 存在 的 一 个 问题 是 ， 许 多 公司 存在 信息 孤岛 ， 从 而 导致 运 维 、 研 发 等 团队 的 信息 ; 


进行 分 级 。 对 于 核心 业务 ， 应 该 有 经 验 丰 富 的 工程 师 进 行 管理 。 如 果 核 心 业务 发 生 故 障 ， 短 时 间 内 解决 不 了 问题 ， 那 么 我 们 可 能 


不 要 为 了 优化 而 优化 ， 如 果 不 是 必须 要 优化 的 ， 就 不 要 去 优化 。 优 化 肯定 要 有 目标 ， 否 则 你 无 法 衡量 你 的 优化 效果 。 不 要 为 优化 而 优化 ， 这 样 可 以 减少 成 本 ， 避 免 问 题 的 发 生 。 


15.3.26 ”不 要 过 早 优化 


15.3.27 ”要 有 知识 分 享 系 统 


文档 的 目的 是 为 了 让 信息 流通 更 有 效率 ， 从 而 提高 工作 效率 。 它 应 该 


15.3.28 ”参加 业内 技术 论坛 


虽然 互联 网 上 几乎 有 无 穷 无 尽 的 知识 ， 以 及 各 种 解决 方案 ， 但 对 于 许多 有 价值 的 信息 ， 需 要 在 公司 内 部 积累 和 分 享 。 


过 早 优化 是 一 切 罪 恶 的 根源 。 我 们 应 该 忽略 一 些微 小 的 不 足 。 比 如 ， 对 于 Web 服 务 器 的 响应 ， 我 们 可 能 只 需要 关注 99% 的 响应 就 可 以 了 。 对 于 其 他 的 1%， 你 应 该 有 一 个 意识 ， 它 可 能 是 因为 什么 原 [ 


比如 一 些 故障 处 理 过 程 和 分 析 经 验 ， 一 些 公司 内 部 项 目的 设计 ， 以 及 新 人 如 何 逐 


属于 一 项 需要 不 断 提 高 的 技能 ， 比 较 常见 的 问题 是 ， 如 果 业 务 发 展 很 快 ， 或 者 产品 迭代 开发 频繁 ， 那 么 文档 往往 就 不 是 最 新 的 ， 


应 该 多 参与 业内 的 交流 ， 一 些 商业 性 质 的 数据 库 大 会 ， 


15.3.29 ”必须 开 周 会 


都 可 以 考虑 参与 。 不 要 惧怕 分 享 自己 的 经 验 ， 对 于 一 些 方案 ， 也 许 其 他 公司 能 有 更 好 的 解决 方案 ， 如 果 你 分 享 了 经 验 ， 同 行 们 也 会 分 享 经 验 。 


许多 管理 者 低估 了 周 会 和 例会 的 重要 性 。 如 果 经 常 不 重视 周 会 ， 那 么 整个 团队 可 能 就 会 变 得 松散 ， 没 有 凝聚 力 。 周 会 有 一 个 引 


周 会 也 可 以 讨论 彼此 的 工作 进度 ， 对 于 未 达成 或 延迟 


的 工作 要 一 起 交流 对 策 。 


了 解 小 团队 内 部 其 他 人 的 工作 状态 及 


要 的 作用 就 是 讨论 分 工 。 随 着 机 器 规模 的 扩大 ， 人 员 的 增加 ， 团 队 管 理 


他 团队 的 工作 情况 ， 传 达 一 些 上 层 的 信息 ， 这 些 都 是 非常 重要 的 事情 。 周 会 也 可 以 用 来 探讨 一 些 技术 问题 ， 交 流 彼此 的 研究 方向 ， 互 相 分 享 ， 日 常 的 交流 分 享 


15.3.30 ”积极 支持 队友 ， 和 团队 一 起 成 长 


一 些 IT 人 员 因 为 忙于 自己 的 工作 ， 当 团 


15.3.31 ”从 公司 的 利益 出 发 


我 们 在 做 选择 和 决策 的 时 候 ， 要 考虑 到 公司 的 商业 利益 ， 要 考虑 到 公司 确实 有 这 个 需求 ， 而 不 是 为 了 


队 成 员 咨询 问题 或 技术 建议 时 ， 往 往 会 不 予 理 皮 。 我 能 理解 IT 公司 ， 特 别 是 一 些 互联 网 公司 ， 工 作 强度 高 的 特点 ， 但 是 如 果 想 要 以 后 工作 得 更 轻松 ， 更 对 


15.3.32 ”确保 每 个 人 都 是 可 以 被 替换 的 


要 确保 每 个 人 都 是 可 以 被 蔡 代 的 。 否 则 ， 因 


15.3.33 ”不 要 受 绩效 束缚 


关键 绩效 指标 (KPI) 是 指 用 于 评测 组 织 中 与 关键 目标 或 关键 成 功 因 


一 个 事实 是 ， 绩 效 是 一 种 工具 ， 人 却 是 复杂 的 ， 管 理 人 是 复杂 的 事 | 


绩效 的 设计 应 该 是 帮助 个 人 发 


上 富 自 己 的 履历 ， 为 了 挑战 自己 。 简 重 


素 相 关 的 那些 指标 ， 许 多 公司 在 到 了 一 定 的 规模 之 后 ， 都 把 KPI 考核 作为 一 项 3 


情 ， 需 要 考虑 的 事情 很 多 ， 很 难 靠 绩效 这 个 工具 来 简化 所 有 的 问题 。 我 们 知道 ， 许 多 东 


要 的 管理 工具 。 


man 


3 


绩效 应 该 随 需 而 变 。 绩 效 往往 会 演变 为 制定 出 来 


山 


的 计划 。 既然 是 计划 ， 那 么 就 可 能 会 


推荐 大 家 看 一 本 书 《 赢 》， 看 看 通用 的 管理 大 师 杰克 


有 尔 奇 是 如 何 看 待 绩效 的 。 虽 然 他 运 


15.3.34 不 断 优化 流程 设计 


应 该 有 意识 地 优化 流程 设计 以 提高 工作 效率 和 服务 质量 。 随 着 公司 业务 的 发 


15.3.35 ”要 了 解 一 些 财务 知识 


许多 运 维 人 员 不 懂 财 务 知识 ， 甚 至 没有 成 本 意识 。 这 也 是 有 原因 


管理 者 需要 会 预算 管理 ， 公 司 的 运 维 部 门 往往 是 公司 最 大 的 成 本 支出 部 门 。 运 


D 


15.3.36 了 解 其 他 领域 


我 们 应 该 了 解 运 维 之 外 的 领域 ， 比 如 产品 、 运 营 和 市 场 ， 了 解 了 


他 领域 ， 更 有 利于 和 


互联 网 技术 发 展 得 很 快 ， 以 前 MySQL 领 域 的 人 才 很 稀缺 ， 但 是 这 些 稀 


MySQL 的 入 门 门槛 不 高 ， 很 容易 就 能 熟悉 ， 一 般 的 中 小 项 目的 数据 库 ， 资 深 研 发 人 员 或 高 级 运 维 工 程 师 也 可 以 兼任 ， 所 以 许多 公司 并 不 需要 一 个 专职 的 DBA， 而 且 许 多 项 目 从 应 | 


展 ， 帮 助人 赢得 尊重 的 ， 而 不 是 用 于 榨 格 个 人 的 。 有 人 也 许 会 说 个 人 的 价值 观 和 公司 的 价值 观 有 冲突 了 怎么 办 ? 但 凡 一 个 好 | 


为 市 场 的 变化 、 竞 争 对 手 的 变化 ， 而 不 得 不 做 修正 ， 如 果 仍 然 国 


了 绩效 造就 了 伟大 的 文化 ， 但 同样 有 一 个 不 容 忽视 的 背景 是 ， 他 花 了 许多 年 


展 ， 运 维 部 门 的 不 断 扩 张 ， 如 果 缺 乏 合 理 的 流程 或 缺乏 高 


。 运 维 人 员 申 请 资源 、 编 制 预算 的 时 候 ， 更 多 地 是 从 技术 的 角度 来 考虑 ， 而 管理 决策 


他 团队 沟通 ， 也 有 利于 开拓 自己 的 视野 。 以 前 的 公司 


已 经 得 到 了 很 大 的 普及 ， 各 大 公司 的 数据 库 运 维 发 展 得 很 快 ， 以 前 一 个 人 维护 几 十 个 库 就 够 多 的 了 ， 但 以 现在 的 运 维 技术 ， 可 上 


在 量化 之 后 ， 就 显得 比较 好 管理 。 有 一 些 


的 ， 公 司 并 没有 对 他 们 进行 一 些 基础 培训 ， 而 且 许多 时 候 ， 他 们 也 不 清楚 


备 包容 性 的 ， 而 员工 如 果 


守旧 有 的 指标 ， 埋 头 苦 干 ， 那 么 可 能 会 就 陷入 


创立 了 坦诚 沟通 的 企业 文化 。 


层次 的 人 才 ， 那 么 往往 会 人 数 增多 了 ， 效 率 反而 下 降 了 。 为 什么 


清楚 各 种 资源 的 成 本 。 但 是 如 果 你 需要 为 公司 谋取 最 大 的 利益 ， 


层 大 都 不 太 懂 技术 ， 他 们 更 多 地 是 从 商 


、 部 门 往往 是 按照 功能 垂直 划分 的 ， 有 时 难以 形成 合力 


到 后 端 ， 都 托管 


的 ; 


地 说 ， 我 们 需要 的 是 我 们 确实 需要 的 ， 而 不 是 自己 想 要 的 


为 意外 变故 ， 很 可 能 会 导致 工作 陷入 被 动 。 这 些 需 要 文档 、 流 程 和 规范 的 支持 ， 需 要 培养 备用 角色 ， 也 需要 持续 招聘 。 持 续 招聘 ， 并 不 是 意味 着 随时 招 人 


Os 本 章 是 运 维 篇 的 最 后 一 章 ， 讲 述 了 规模 化 运 维 需 要 熟悉 的 一 些 知 识 ， 介 绍 了 一 些 运 维 规则 。 运 维 的 管理 是 一 个 很 广 的 范畴 ， 所 以 我 仅仅 列举 了 一 些 和 数据 库 运 维 更 相关 的 值得 遵循 的 规则 ， 


第 五 部 分 “性 能 调 优 与 架构 篇 


本 篇 将 为 读者 介绍 性 能 调 优 的 一 些 背 景 知识 和 理论 ， 然 后 介绍 一 些 工 具 的 运用 ， 最 后 介绍 从 应 用 程序 到 操作 系统 、 到 数据 库 、 到 存储 各 个 环节 的 优化 。 


性 能 调 优 是 一 个 高 度 专业 的 领域 ， 它 需要 一 定 的 方法 论 做 指导 ， 我 们 需要 有 一 定 的 背景 知识 和 方法 论 做 引导 ， 才 能 提出 正确 的 问题 ， 正 确 的 问题 往往 意味 着 有 解决 问题 的 可 能 性 ， 这 也 是 我 们 在 处 理 


本 书 将 主要 侧重 于 如 何 解决 问题 ， 而 不 会 深入 讲解 理论 ， 现 实 中 ， 大 家 主要 还 是 依赖 经 验 法 则 ， 较 少 用 到 理论 。 但是， 一 些 通用 的 理论 ， 大 家 有 必要 熟悉 。 作 为 DBA， 性 能 调 优 不 应 该 是 我 们 的 主要 


由 于 架构 和 性 能 优化 的 相关 性 很 大 ， 因 此 也 合并 在 本 篇 一 并 讲述 。 


第 16 章 ”基础 理论 和 工具 


本 章 首先 讲述 性 能 调 优 的 一 些 概念 和 理论 ， 然 后 介绍 一 些 工具 的 使 用 ， 最 后 介绍 一 些 性 能 调 优 的 方法 。 


16.1 性 能 调 优 理论 


16.1.1 基础 概念 


对 于 一 些 概念 ， 可 能 不 同 的 人 有 不 同 的 解释 ， 基 本 上 没有 一 个 很 严格 的 标准 答案 ， 笔 者 将 在 此 阐释 个 人 理解 的 一 些 基本 概念 ， 以 方便 大 家 在 阅读 本 书 时 ， 对 照 概念 ， 理 解 我 所 讲述 的 内 容 。 


资源 (resource) : 物理 服务 器 的 功能 组 件 ， 一 些 软件 资源 也 可 以 被 衡量 ， 比 如 线程 池 、 进 程 数 等 。 系 统 的 运行 ， 需 要 各 种 资源 ， 对 于 资源 列表 的 确定 ， 我 们 可 以 凭借 对 系统 的 了 解 来 确定 ， 也 可 以 


常见 的 物理 资源 如 下 所 示 。 


* CPU、CPU 核 数 (core) 、 硬 件 线程 (hardware thread) 、 虚 拟 线 程 (virtual thread) 


“内存 


“ 网 络 接口 


:存储 设备 


“ 存储 或 网 络 的 控制 器 


“ 内 部 高 速 互联 


负载 (load) : 有 多 少 任务 正在 施加 给 系统 ， 也 就 是 系统 的 输入 ， 要 被 处 理 的 请 求 。 对 于 数据 库 来 说 ， 负 载 就 包括 了 客户 端 段 发 送 过 来 的 命令 和 查询 。 


负载 如 果 超 过 了 设计 能 力 ， 往 往 会 导致 性 能 问题 。 应 用 程序 可 能 会 因为 软件 应 用 的 配置 或 系统 架构 导致 性 能 降低 ， 比 如 ， 如 果 一 个 应 用 程序 是 单线 程 的 ， 那 么 无 疑 它 会 受制 于 单线 程 架构 ， 因 为 只 能 


如 果 在 云 中 ， 你 也 许可 以 简单 地 增加 更 多 的 节点 来 处 理 过 高 的 负载 ， 在 一 般 的 生产 应 用 中 ， 简 单 地 增加 节点 有 时 解决 不 了 问题 ， 你 需要 进行 调 优 和 架构 迭代 。 


负载 可 以 分 成 两 种 类 型 : CPU 密集 型 (CPU-bound) 和 IlMO 密 集 型 (VO-bound) 。 


:CPU 密集 型 指 的 是 那些 需要 大 量 计算 的 应 用 ， 它 们 受 CPU 资 源 所 限制 ， 也 有 人 称 为 计算 密集 型 或 CPU 瓶颈 型 。 


: I/O 密 集 型 指 的 是 那些 需要 执行 许多 I/O 操 作 的 应 用 ， 例 如 文件 服务 器 、 数 据 库 、 交 互 式 shel， 它 们 期 望 更 小 的 响应 时 间 。 它 们 受 I/O 子 系统 或 网 络 资源 所 限制 。 


对 于 CPU 密集 型 的 负载 ， 可 以 检查 和 统计 那些 CPU 运算 的 代码 ， 对 于 MO 密集 型 的 负载 ， 可 以 检查 和 统计 那些 执行 MO 操作 最 多 的 代码 。 这 样 就 可 以 更 有 针对 性 地 进行 调 优 。 我 们 可 以 使 用 系统 自 带 辫 


对 于 吞吐 率 ， 很 显然 ， 数 据 库 支持 的 简单 查询 的 吞吐 率 会 比 复杂 查询 的 吞吐 率 大 得 多 ， 其 他 应 用 服务 器 也 是 类 似 的 ， 简 单 的 操作 执行 得 更 快 ， 所 以 对 于 吞吐 ， 我 们 也 需要 定义 我 们 的 系统 应 处 理 何 种 


利用 率 (utilization) : 利用 率 用 于 衡量 提供 服务 的 资源 的 忙碌 程度 ， 它 是 基于 某 一 段 时 间 间隔 内 ， 系 统 资源 用 于 真正 执行 工作 的 时 间 的 百分比 。 即 ， 


利用 率 = 忙 的 时 间 / 总 计时 间 


利用 率 可 以 是 基于 时 间 的 ， 比 如 CPU 的 利用 率 : 某 颗 CPU 的 利用 率 或 整体 系统 的 CPU 利用 率 。 比 如 对 于 磁盘 的 利用 率 ， 我 们 可 以 使 用 iostat 命 令 检查 %util。 


利用 率 也 可 以 是 基于 容量 的 ， 它 可 以 表示 我 们 的 磁盘 、 内 存 或 网 络 的 使 用 程度 ， 比 如 90% 的 磁盘 空间 被 使 用 ，80% 的 内 存 被 使 用 ，80% 的 网 络 带宽 被 使 用 等 。 


可 以 用 高 速 公 路 收费 站 的 例子 来 进行 类 比 。 


利用 率 表 现 为 当前 有 多 少 收费 亭 正 在 忙于 服务 。 利 用 率 100%， 就 表示 所 有 的 收费 亭 都 正在 处 理 收费 ， 你 找 不 到 空闲 的 收费 亭 ， 因 此 你 必须 排队 。 那 么 在 高 峰 时 刻 ， 可 能 许多 时 候 都 是 100% 的 利用 率 


往往 利用 率 的 高 位 会 导致 资源 饱和 。 利 用 率 100% 往 往 意 味 着 系统 有 瓶颈 ， 可 以 检查 资源 饱和 度 和 系统 性 能 加 以 确定 。 该 资源 不 能 提供 服务 的 程度 被 标识 为 它 的 饱和 度 ， 后 文 有 资源 饱和 度 的 详细 解 和 


如 果 是 检测 的 粒度 比较 大 ， 那 么 很 可 能 就 会 掩盖 了 偶尔 的 100% 的 峰值 ， 一 些 资源 ， 如 磁盘 ， 在 60% 的 利用 率 的 时 候 ， 性 能 就 开始 变 差 了 。 


响应 时 间 (response time) : 也 叫 延 迟 ， 指 操作 执行 所 需要 的 耗 时 。 它 包括 了 等 待 时 间 和 执行 时 间 ， 优 化 执行 时 间 相对 简单 ， 优 化 等 待 时 间 则 复杂 多 了 ， 因 为 要 考虑 到 各 种 


他 任务 的 影响 ， 以 及 i 


一 般 情况 下 ， 我 们 衡量 性 能 主要 是 通过 响应 时 间 ， 而 不 是 使 用 了 多 少 资源 ， 优 化 本 质 上 是 在 一 定 的 负载 下 ， 尽 可 能 地 减少 响应 时 间 ， 而 不 是 减少 资源 的 占用 ， 比 如 降低 CPU 的 使 用 。 资 源 的 消耗 只 是 


如 果 我 们 能 够 记录 MySQL 在 各 个 环节 所 消耗 的 时 间 ， 那 么 我 们 就 可 以 有 针对 性 地 进行 调 优 ， 如 果 我 们 可 以 将 任务 细 分 为 一 些 子 任务 ， 那 么 我 们 就 可 以 通过 消除 子 任务 、 减 少子 任务 的 执行 次 数 或 让 了 


伸缩 性 (scalability) : 对 于 伸缩 性 ， 有 两 个 层面 的 意思 。 一 是 ， 在 资源 的 利用 率 不 断 增加 的 情况 下 ， 响 应 时 间 和 资源 利用 率 之 间 的 关系 ， 当 资源 利用 率 升 高 时 ， 响 应 时 间 仍 然 能 够 保持 稳定 ， 那 么 3 


香 吐 率 (throughput) : 处 理 任务 的 速率 。 对 于 网 络 传输 ， 吞 吐 率 一 般 是 指 每 秒 传输 的 字 节 数 ， 对 于 数据 库 来 说 ， 指 的 是 每 秒 查询 数 (QPS) 或 每 秒 事务 数 。 


并 发 (concurrency) : 指 的 是 系统 能 够 并 行 执行 多 个 操作 的 能 力 。 如 果 数 据 库 能 够 充分 利用 CPU 的 多 核能 力 ， 那 么 往往 意味 着 它 有 更 高 的 并 发 处 理 能 力 。 


容量 (capacity) : 容量 指 的 是 系统 可 以 提供 的 处 理 负荷 的 能 力 。 我 们 在 日 常 运 维 中 有 一 项 很 重要 的 工作 就 是 容量 规划 ， 即 确保 随 着 负荷 的 增长 ， 我 们 的 系统 仍然 能 够 处 理 负 荷 ， 确 保 服务 良好 和 稳 


饱和 (saturation) : 由 于 负荷 过 大 ， 超 过 了 某 项 资源 的 服务 能 力 称 为 饱和 。 饱 和 度 可 以 用 等 待 队列 的 长 度 来 加 以 衡量 ,或 者 用 在 队列 里 的 等 待 时 间 加 以 衡量 。 超 过 承载 能 力 的 工作 往往 处 于 等 待 队 : 


资源 利用 率 高 时 ， 可 能 会 出 现 饱 和 ， 图 16-1 是 一 个 资源 利用 率 、 负 载 、 饱 和 之 间 关 系 的 说 明 图 ， 在 资源 利用 率 超过 100% 后 ， 任 务 不 能 马上 被 处 理 ， 需 要 排队 ， 饱 和 度 就 开始 随 着 负载 的 增加 线性 增 | 


饱和 不 一 定 能 被 发 现 ， 生 产 环 境 监控 系统 、 监 控 脚本 时 存在 一 个 容易 犯 的 错误 ， 那 就 是 采样 的 粒度 太 粗 ， 比 如 每 隔 几 分 钟 进行 采样 ， 可 能 就 会 发 现 不 了 问题 ， 但 问题 却 会 发 生 在 短 时 间 的 几 十 秒 内 。 


负载 


图 16-1 资源 利用 率 、 负 载 、 饱 和 之 间 的 关系 


我 们 需要 熟悉 以 上 概念 ， 并 了 解 它 们 之 间 的 关系 ， 一 般 来 说， 随 着 负荷 的 上 升 ， 吞 吐 率 也 将 上 升 ， 吞 吐 曲线 开始 时 会 一 直 是 线性 的 ， 我 们 的 系统 响应 时 间 在 开始 的 一 个 阶段 会 保持 稳定 ， 但 是 到 达 某 


对 于 性 能 的 看 法 其 实 比较 主观 ， 一 个 性 能 指标 是 好 还 是 坏 ， 可 能 取决 于 研发 人 员 和 终端 用 户 的 期 望 值 。 所 以 ， 如 果 我 们 要 判断 是 否 应 该 进行 调 优 ， 那 么 我 们 需要 对 这 些 指标 进行 量化 ， 当 我 们 量化 了 


以 下 将 简要 叙述 三 个 基础 理论 : 阿 姆 达 尔 定律 、 通 用 扩展 定律 和 排队 论 。 


16.1.2” 阿 姆 达尔 定律 


可 姆 达尔 定律 (Amdahl” s law) 是 计算 机 科学 界 的 一 项 经 验 法 则 ， 因 IBM 公 司 的 计算 机 架构 师 吉 恩 - 阿 姆 达尔 而 得 名 。 吉 恩 : 阿 姆 达尔 在 1967 年 发 表 的 论文 中 提出 了 这 个 重要 定律 。 


阿 姆 达 尔 定律 主要 用 于 发 现 当 系统 的 部 分 组 件 得 到 改进 ， 整 体系 统 可 能 得 到 的 最 大 改进 。 它 经 常用 于 并 行 计算 领域 ， 用 来 预测 应 用 多 个 处 理 器 时 理论 上 的 最 大 加 速 比 。 在 性 能 调 优 领 域 ， 我 们 利用 此 


阿 姆 达 尔 定律 的 模型 阐释 了 我 们 在 现实 生产 中 串 行 资源 争 用 时 候 的 现象 。 图 16-2 分 别 展 示 了 线性 扩展 (linear scaling) 和 按 阿 姆 达 尔 定律 扩展 的 加 速 比 (speedup) 。 图 16-2 中 的 曲线 是 符合 阿 姆 i 


以 下 介绍 中 ， 系 统 、 算 法 、 程 序 都 可 以 看 作 是 优化 的 对 象 ， 笔 者 在 此 不 会 加 以 区 分 ， 它 们 都 有 串 行 的 部 分 和 可 以 并 行 的 部 分 。 


加 速 比 
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1 21 41 61 81 
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图 16-2” 阿 姆 达尔 定律 下 的 加 速 比 对 比 线性 扩展 下 的 加 速 比 


在 并 行 计 算 中 ， 使 用 多 个 处 理 器 的 程序 的 加 速 比 受 限 制 于 程序 串 行 部 分 的 执行 时 间 。 例 如 ， 如 果 一 个 程序 使 用 一 个 CPU 核 执行 需要 20 个 小 时 ， 其 中 的 部 分 代码 只 能 串 行 ， 需 要 执行 1 个 小 时 ， 其 他 19 


加 速 比 越 高 ， 证 明 优化 效果 越 明显 。 


阿 姆 达尔 定律 可 以 用 如 下 公式 表示 : 


S(n): 固定 负载 下 ， 理 论 上 的 加 速 比 。 


B: 串 行 工作 部 分 所 占 比例 ， 取 值 范围 为 0~1。 


n: 并 行 线程 数 、 并 行 处 理 节点 个 数 。 


以 上 公式 具体 说 明 如 下 。 


加 速 比 = 没有 改进 前 的 算法 耗 时 T(1)/ 改 进 后 的 算法 耗 时 T(n)。 


我 们 假定 算法 没有 改进 之 前 ,执行 总 时 间 是 1 (假定 为 1 个 单元 ) 。 那 么 改进 后 的 算法 ， 其 时 间 应 该 是 串 行 工作 部 分 的 耗 时 (B) 加 上 并 行 部 分 的 耗 时 (1-B)/n， 由 于 并 行 部 分 可 以 在 多 个 CPU 核 上 执行 


根据 这 个 公式 ， 如 果 并 行 线程 数 (我 们 可 以 理解 为 CPU 处 理 器 数量 ) 趋 于 无 穷 ， 那 么 加 速 比 将 与 系统 的 串 行 工作 部 分 的 比例 成 反比 ， 如 果 系 统 中 有 50% 的 代码 需要 串 行 执行 ， 那 么 系统 的 最 大 加 速 比 


下 面 对 阿 姆 达尔 定律 做 进一步 说 明 。 阿 姆 达尔 这 个 模型 定义 了 固定 负载 下 ， 某 个 算法 的 并 行 实现 相对 串 行 实现 的 加 速 比 。 例 如 ， 某 个 算法 有 12% 的 操作 是 可 以 并 行 执行 的 ， 而 剩 下 的 88% 的 操作 不 能 


再 例如 ， 对 于 某 个 算法 ， 可 以 并 行 的 比例 是 P， 这 部 分 并 行 的 代码 能 够 加 速 S 倍 〈S 可 以 理解 成 CPU 核 的 个 数 ， 即 新 代码 的 执行 时 间 为 原来 执行 时 间 的 1/S) 。 如 果 此 算法 有 30% 的 代码 可 以 被 并 行 加 二 


一 


以 上 公式 和 前 一 个 公式 是 类 似 的 ， 只 是 前 一 个 公式 的 分 母 是 用 串 行 比例 B 来 表示 的 。 


再 例如 ， 某 项 任务 ,我们 可 以 分 解 为 4 个 步骤 ，P1、P2、P3、P4， 执行 耗 时 占 总 耗 时 百分比 分 别 是 11%、18%、23% 和 48%。 我 们 对 它 进 行 优 化 ，P1 不 能 优化 ，P2 可 以 加 速 5 倍 ，P3 可 以 加 速 20 倍 ， 


0.11 0.18 + 0.4575 


一 -一 十 一 一 


] 3 20 


总 的 加 速 比 是 1/0.4575=2.186。 我 们 可 以 看 到 ， 虽 然 有 些 部 分 加 速 比 有 20 倍 ， 有 些 部 分 有 5 倍 ， 但 总 的 加 速 比 并 不 高 ， 略 大 于 2， 因 为 占 时 间 比 例 最 大 的 P4 部 分 仅仅 加 速 了 1.6 倍 。 


16-3 演 示 了 并 行 工作 部 分 的 比例 不 同时 的 加 速 比 曲线 ， 我 们 可 以 观察 到 ， 加 速 比 受 限制 于 串 行 工作 部 分 的 比例 ， 当 95% 的 代码 都 可 以 进行 并 行 优化 时 ， 理 论 上 的 最 大 加 速 比 会 更 高 ， 但 最 高 不 会 趣 
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1024 
2048 
4096 
8192 
16384 
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05330 


图 16-3 并行 工作 部 分 的 比例 不 同 〈50%、75%、90%、95%) 时 的 加 速 比 


阿 姆 达 尔 定律 也 用 于 指导 CPU 的 可 扩展 设计 。CPU 的 发 展 有 两 个 方向 ， 更 快 的 CPU 或 更 多 的 核 。 目 前 看 来 发 展 的 重心 偏向 了 CPU 的 核 数 ， 随 着 技术 的 不 断 发 展 ，CPU 的 核 数 在 不 断 地 增加 ， 目 前 我 人 


16.1.3 ”通用 扩展 定律 


可 扩展 性 指 的 是 ， 我 们 通过 不 断 地 增加 节点 来 满足 不 断 增 长 的 负载 需求 ， 这 样 的 一 种 能 力 。 可 是 ,很 多 人 提 到 了 可 扩展 性 ， 却 没有 给 它 一 个 清晰 的 定义 和 量化 标准 。 实 际 上 ， 系 统 可 扩展 性 是 可 以 被 


USL， 即 通用 扩展 定律 ， 由 尼 尔 : 巩 特 尔 博士 提出 ， 相 对 比 阿 姆 达尔 定律 ，USL 增 加 了 一 个 参数 Bb 表示 “一 致 性 延迟 。 (coherency delay) 。 图 16-4 是 它 的 模型 图 ， 纵 轴 表示 容量 ， 横 轴 表示 并 发 数 。 


恒 16-4 ”USL 模 型 下 


USL 可 以 用 如 下 公式 进行 定义 。 


N 
1+a((N-1)+BN(N-1)) 


€(N)= 


C(N): 容量 。 


0<a,B<1。 


a: Contention, 的 程度 ， 由 于 等 待 或 排队 等 待 共享 资源 ， 将 导致 不 能 线性 扩展 。 


B: Coherency， 一 致 性 延迟 的 程度 ， 由 于 节点 之 间 需 要 交互 以 使 数据 保持 一 致 ， 因 此 会 带 来 延迟 。 为 了 维持 数据 的 一 致 性 ， 将 导致 系统 性 能 恶化 ， 即 随 着 N 的 上 升 ， 系 统 吞吐 率 反而 会 下 降 。 当 这 


N: Concurrency， 并 发 数 ， 理 想 情 况 下 是 线性 扩展 的 。 如 果 是 衡量 软件 的 可 扩展 性 ， 那 么 N 可 以 是 客户 端 /用 户 并 发 数 ， 在 固定 的 硬件 配置 下 (CPU 数 不 变 ) ， 不 断 增 加 客户 端 / 用 户 ， 以 获取 性 能 


网 


16-5 到 图 16-8 所 示 的 4 个 图 ， 对 应 在 不 同 负载 下 容量 (吞吐 能 力 ) 的 变化 。 


下 面 我 们 来 看 看 


区 


[ 


[ 


16-5 中 ，a=0、B=0， 此 时 ， 随 着 负载 的 升 高 ， 系 统 吞吐 是 线性 上 升 的， 即 我 们 所 说 的 线性 扩 


图 16-5 a=0、B=0 时 的 容量 变化 


将 导致 性 能 曲线 不 再 线性 增长 。 


16-6 中 ，a>0、B=0， 此 时 对 于 共享 资源 的 


展 ， 


这 是 很 理想 化 的 一 种 情况 ， 每 份 投入 必然 会 获得 等 什 


报 ， 但 很 难 无 限 进行 下 去 ， 性 能 模型 的 前 


图 16-6 ”xm>0、B=0 时 的 容量 变化 


到 16-7 中 ，a> >0、B=0。 此 时 共享 资源 的 争 用 大 大 增加 ， 我 们 将 看 到 一 种 “收益 递减 ”的 现象 ， 即 我 们 的 持续 投入 资源 (比如 金钱 ) 变 大 ， 但 是 所 取得 的 收益 都 越 来 越 小 。 


回 


源 的 争 用 ， 还 需要 应 对 系统 内 各 个 节点 的 通信 、 同 步 状 态 的 开销 。 此 时 性 能 曲线 将 会 变 差 ， 回 报 趋向 于 负 值 。 


前 ， 


图 16-8 中 ，Q> >0、B>0。 此 时 B 参 数 开始 影响 我 们 的 性 能 曲线 ， 我 们 除了 共享 资 


USL 应 用 很 广 ， 如 压力 测试 工具 结果 分 析 ， 对 磁盘 阵列 、SAN 和 | 多核 处 理 器 及 某 些 类 型 的 网 络 |/O 建 模 ,分 析 内 存 颠 复 、 高 速 缓存 未 命中 导致 的 延 时 等 场景 。 由 于 它 的 应 用 范围 很 广 ， 所 以 也 称 之 为 六 


ee en ne en et ee ed i 


5 


看 叶 ; 


一 = 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 局 忆 一 一 由 一 一 一 一 一 一 一 一 一 一 一 一 


USL 一 些 具体 的 应 


场景 如 下 。 


图 16-7 x>>0、B=0 时 的 容量 变化 


系统 的 负载 


图 16-8 ”a>>0、B>0 时 的 容量 变化 


' 
1 
1 


(1) 模拟 压力 测试 


以 下 例子 ， 如 图 16-9 所 示 ， 将 不 断 增加 虚拟 用 户 ( 横 轴 表示 的 Virtual users) ， 记 录 


吞吐 率 ( 纵 轴 表示 的 Throughput) ， 然 后 通过 绘制 的 图 形 得 到 性 能 吞吐 的 模型 。 


(2) 检测 错误 的 测量 结果 


有 时 我 们 进行 测试 ， 会 发 现 我 们 的 测量 输出 结果 不 符合 模型 ， 这 时 我 们 需要 审视 下 ， 是 否 我 们 的 测量 方式 存在 问题 或 受到 了 其 


1 
A 


也 因素 的 干扰 ? 需要 找 出 是 什么 原因 导致 的 非 预 期 的 行为 。 


(3) 性 能 推断 


如 果 扩展 性 很 差 ， 我 们 可 以 通过 公式 和 图 得 知 是 (对 共享 资源 的 争 用 ) 还 是 B (一 致 性 延迟 ) 应 该 承担 更 大 的 责任 。 


USL 公 式 虽 然 简单 易 用 ， 但 普通 人 也 许 无 法 从 中 找到 解决 问题 的 思路 和 方法 。 因 为 所 有 的 信息 都 被 浓缩 为 2 个 参数 c 和 B。 然 而 ， 应 用 程序 开发 者 和 系统 架构 师 可 能 依据 这 些 信息 ， 就 能 轻易 地 找到 问 
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(5) 对 生产 环境 收集 的 性 能 数据 进行 分 析 


RelCap 


C(N) 


Super 


>arabola Coefficients Parameter 


Efficiency nverse Linearity Deviation 


(NCY] 


Serial Predicted Capacity 
Values Users C(N) Modeled 


13.70 
21.22 
27.51 


Measured 


26.63 1871.31 
28.34 1839.24 
2579 1673.94 


图 16-9 ”模拟 压力 测试 


对 生产 环境 的 性 能 数据 (图 形 ) 进行 分 析 ， 可 以 让 我 们 确定 合适 的 工作 负载 (比如 并 发 线程 数 、CPU 个 数 ) 。 


(6) “扩展 区 ” (scalability zone) 概念 的 应 有 


我 们 看 下 图 16-10， 我 们 绘制 不 同 场景 下 的 性 能 曲线 ， 


mm 


线 定义 了 可 扩展 


区 域 Async msging、Sync waiting、Sync thrashing。 程 序 的 性 能 点 图 


跨越 了 多 个 


区 域 。 在 超过 15 个 并 发 的 时 候 ， 性 全 
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图 16-10 “可 扩展 区 域 


16.1.4 ”排队 论 


(1) 排队 论 的 历史 


排队 论 (queueing theory) 起 源 于 20 世 纪 初 的 电话 通话 。Agner Krarup Erlang， 一 个 在 丹麦 哥本哈根 电话 交换 局 工作 的 工程 师 ， 通 过 研究 人 们 打 电 话 的 方式 ， 发 明了 人 们 需要 等 待 多 久 的 公式 ,| 


(2) 定义 


排队 论 也 称 为 随机 服务 系统 理论 、 排 队 理 论 ， 是 数学 运筹 学 的 分 支 学 科 。 它 是 研究 服务 系统 中 排队 现象 随机 规律 的 学 科 。 排 队 论 广泛 应 用 于 电信 、 交 通 工 程 、 计 算 机 网 络 、 生 产 、 运 输 、 库 存 等 各 项 


过 


外 是 我 们 每 个 人 都 很 熟悉 的 现象 。 因 为 为 了 得 到 某 种 服务 必须 排队 。 有 一 类 排队 是 有 形 的 ， 例 如 在 售票 处 等 待 买 票 的 排队 ， 加 油 站 前 汽车 等 待 加 油 的 排队 等 ; 还 有 一 类 排队 是 无 形 的 ， 例 如 电话 交 


和 过 


外 现象 是 我 们 不 希望 出 现 的 现象 ， 因 为 人 在 排队 至 少 意味 着 是 在 浪费 时 间 ; 物 的 排队 则 说 明了 物资 的 积压 。 但 是 排队 现象 却 无 法 完全 消失 ， 这 是 一 种 随机 现象 。 顾 客 到 达 间隔 时 间 的 随机 性 和 为 顾 


过 


外 论 是 研究 排队 系统 在 不 同 的 条 件 下 (最 主要 的 是 顾客 到 达 的 随机 规律 和 服务 时 间 的 随机 规律 ) 产生 的 排队 现象 的 随机 规律 性 。 也 就 是 要 建立 反映 这 种 随机 性 的 数学 模型 。 研 究 的 最 终 目的 是 为 了 


(3) 排队 论 的 一 般 模 型 


图 16-11 是 排队 论 的 一 般 模型 图 。 


排队 系 系统 统 
队列 


服务 时 间 (执行 时 间 ) 


图 16-11 排队 论 模 型 


中 ， 服 务 台 用 于 服务 队列 中 的 顾客 ， 可 以 多 个 服务 台 并 发 工作 。 


16-11 中 的 排队 系统 ， 各 个 顾客 从 顾客 源 出 发 ， 随 机 地 来 到 服务 机 构 ， 按 一 定 的 排队 规则 等 待 服务 ， 直 到 按 一 定 的 服务 规则 接受 服务 后 离开 排队 系统 。 


[ 


对 于 一 个 服务 系统 来 说 ， 如 果 服 务 机 构 过 小 ， 以 致 不 能 满足 要 求 服务 的 众多 顾客 的 需要 ， 那 么 就 会 产生 拥挤 现象 而 使 服务 质量 降低 。 因 此 ， 顾 客 总 是 希望 服务 机 构 越 大 越 好 ， 但 是 ， 如 果 服务 机 构 过 


(4) 理论 归纳 


在 计算 机 领域 ， 许 多 软 硬 件 组 件 都 可 以 模型 化 为 排队 系统 。 我 们 可 以 使 用 排队 理论 分 析 排 队 现象 ， 分 析 队列 的 长 度 、 等 待 时 间 、 利 用 率 等 指标 。 


排队 理论 基于 许多 数学 和 统计 理论 ， 比 如 概率 理论 、 随 机 过 程 理论 、Erlang-C 公 式 (Erlangs C formula) 、 李 特 尔 法 则 。 


以 下 简单 介绍 排队 认 的 一 些 理论 。 详 细 的 内 容 可 参考 Neil J.Gunther 的 图 书 《The Practical Performance Analyst》。 


李 特 尔 法 则 (Little' s law) 


李 特 尔 法 则 可 以 用 如 下 公式 来 表示 。 


L= 和 WW 


这 个 公式 定义 了 一 个 系统 中 的 平均 访问 请 求 数 = 平均 到 达 速 率 x 平均 服务 时 间 


比如 ， 我 们 有 一 个 系统 ， 平 均 到 达 速 率 是 10000 次 请 求 /s， 每 个 请 求 需要 花费 0.05s 来 处 理 ， 即 平均 服务 时 间 为 0.05s， 那 么 根据 李 特 尔 法 则 ， 服 务 器 在 任何 时 刻 都 将 承担 10000x0.05=500 个 请 求 的 4 


1) 提高 服务 器 的 并 发 处 理 能 力 ， 即 20000x0.5=1000。 


2) 减少 服务 器 的 平均 服务 时 间 ， 即 W=L 人 =500/20000=0.025s。 


排队 论 表示 法 


我 们 可 以 用 肯 德 尔 表示 法 (Kendall s notation) 来 对 排队 系统 进行 分 类 ， 肯 德尔 表示 法 可 使 


A/S/m 


A: 到 达 的 规则 ， 即 到 达 的 时 间 间 隔 的 分 布 ， 可 能 是 随机 的 、 确 定型 的 或 泊 松 分 布 等 


S: 服务 规则 ， 即 指 服务 时 间 的 分 布 ， 可 能 是 固定 的 或 指数 的 等 


m: 服务 台 个 数 ， 一 个 或 多 个 。 


刘 
引 


M : 指数 分 布 ， 在 概率 论 和 统计 学 中 ， 指 数 分 布 (Exponential Distribution) 是 一 种 连续 概率 分 布 。 指 数 分 布 可 以 用 来 表示 独立 随机 事件 发 生 的 时 间 间 隔 ， 比 如 旅客 进 机 场 的 时 间 间 隔 、 中 文 维基 E 


D: 确定 型 (Deterministic) 。 


G: 一 般 (General) 服务 时 间 的 分 布 。 


一 些 常见 的 排队 系统 模型 具体 如 下 。 


.MAMV1: 


* M/M/c: 


: M/G/1: 


* M/D/1: 


表示 顾客 相继 到 达 的 间隔 时 间 为 


表示 顾客 相继 到 达 的 间隔 


表示 顾客 相继 到 达 的 间隔 


表示 顾客 相继 到 达 的 间隔 


16.2 诊断 工具 


我 们 需要 熟悉 Linux 下 常用 的 诊断 性 能 


我 们 进行 性 能 调 优 的 首要 目的 是 需要 找到 系统 的 瓶颈 所 在 。 最 常见 的 瓶颈 是 内 存 、I/O 或 CPPU。Linux 提 供 了 一 系列 的 工具 来 检查 系统 和 查找 瓶颈 。 一 些 工具 揭示 了 系统 的 总 体 健康 状态 ， 一 些 工具 见 


二 间 为 


二 间 为 指 


， 确 切 地 说 ， 我 们 需要 在 平时 不 使 


如 下 的 简化 形式 : 


他 分 布 方式 。 


示 顾 客 到 达 的 间隔 时 间 和 服务 时 间 的 分 布 常用 的 约定 符号 分 别 如 下 。 


分 布 、 服 务 时 间 为 指数 分 布 、 单 服务 台 。 


分 布 、 服 务 时 间 为 指数 分 布 、 多 服务 台 。 


间 为 指数 分 布 、 服 务 时 间 为 确定 型 时 间 分 布 、 单 服务 台 。 


他 分 布 方式 。 


分 布 、 服 务 时 间 为 一 般 服务 时 间 分 布 、 单 服务 台 。 


比如 我 们 的 旋转 磁盘 可 用 此 模型 进行 分 析 。 


这 些 命令 的 时 候 ， 就 能 够 熟练 应 用 它 ， 这 样 我 们 在 实际 诊断 性 能 问题 的 时 候 ， 才 可 以 快速 使 用 它们 ， 而 不 是 事 到 | 钨 


现实 中 ， 真 正 出 现 性 能 问题 时 ， 往 往 会 有 许多 现象 发 生 ， 发 现 一 个 现象 并 不 难 ， 难 的 是 定位 问题 的 根源 ， 是 什么 因素 的 影响 最 大 。 当 你 具备 了 知识 ， 能 够 熟练 使 用 各 种 工具 ， 了 解数 据 库 、 操 作 系统 


使 用 工 


避免 只 使 用 自己 熟悉 的 工 


为 工 


在 不 断 地 进化 中 ， 所 以 ， 如 果 有 了 更 好 的 工 


， 那 么 花 一 些 学 习 成 本 也 是 值得 的 。 


对 于 性 能 的 优化 ， 我 们 往往 有 许多 种 工具 可 以 选择 ， 这 也 会 造成 一 些 困 扰 ， 因 为 不 同 工 具 的 功能 有 重 亚 ， 甚 至 大 部 分 都 有 重复 ， 这 样 不 仅 浪 费 了 资源 ， 也 让 用 户 的 学 习 成 本 变 得 更 高 ， 因 为 可 能 你 要 


16.2.1 OS 诊断 工具 


sar、vmstat、iostat 都 是 工具 包 sysstat (the system monitoring tool) 里 的 命令 ， 如 果 你 的 系统 中 没有 这 些 命令 ， 那 么 你 需要 安装 sysstat 包 。 


本 节 对 sar 会 做 比较 详细 的 介绍 ， 因 为 其 他 命令 收集 的 信息 与 它 类 似 ， 因 此 本 节 将 不 对 其 他 命令 做 详细 说 明 ， 仅 仅 列 出 一 些 需要 关注 的 要 点 。 


1.sar 


sar (System activity reporter， 系 统 活动 情况 报告 ) 命令 是 系统 维护 的 重要 工具 ， 主 要 用 于 帮助 我 们 掌握 系统 资源 的 使 用 情况 ， 可 以 从 多 方面 对 系统 的 活动 进行 报告 ， 报 告 内 容 包 括 : 文件 的 读 写 上 


sar 通 过 cron 定 时 调用 执行 以 收集 和 记录 信息 ， 默 认 情 况 下 ，Linux 每 10 分 钟 运行 一 次 sar 命 令 来 收集 信息 ， 如 果 你 认为 时 间 跨 度 太 长 ， 不 容易 发 现 性 能 问题 ， 你 也 可 以 更 改 调度 任务 的 间隔 ， 修 改 /et 


Cat sysstat 
# run system activity accounting tool every 10 minutes 
/IQ * root /usr/lib64/sa/sal 1 1 


启 crond 生 效 。 


/etc/init.d/crond restart 


sar 命 令 的 常用 格式 如 下 。 


sar [ optionshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... ] [ <interval> [ <count> ] ] 


sar 如 果 不 加 参数 ， 则 默认 是 读 取 历 史 统计 信息 ， 你 可 以 指定 interval 和 count 对 当前 的 系统 活动 进行 统计 。 其 中 参数 的 具体 说 明 如 下 。 


interva| 为 采样 间隔 ，count 为 采样 次 数 ， 默 认 值 是 1。 


options 为 命令 行 选 项 ，sar 命 令 常用 的 选项 分 别 如 下 。 


“ -A: 所 有 报告 的 总 和 。 


: 输出 CPU 使 用 情况 的 统计 信息 。 


S 


“-v; 输出 inode、 文 件 和 其 他 内 核 表 的 统计 信息 。 


: -d: 输出 每 一 个 块 设备 的 活动 信息 ， 一 般 添加 选项 -p 以 显示 易 读 的 设备 名 。 


: -+: 输出 内 存 和 交换 空间 的 统计 信息 。 


“ -b: 显示 I/O 和 传送 速率 的 统计 信息 。 


: -c: 输出 进程 的 统计 信息 ， 每 秒 创 建 的 进程 数 。 


“ -有 R: 输出 内 存 页 面 的 统计 信息 。 


. -y: 终端 设备 的 活动 情况 。 


“-w: 输出 系统 交换 活动 的 信息 ， 即 每 秒 上 下 文 切 换 次 数 。 


如 下 是 一 些 sar 使 用 的 例子 。 


(1) CPU 资源 监控 


例如 ， 每 10s 采 样 一 次 ， 连 续 采 样 3 次 ， 观 察 CPU 的 使 用 情况 ， 并 将 采样 结果 以 二 进 制 的 形式 存 入 当前 目录 下 的 文件 test 中 ， 需 要 键入 如 下 命令 : 


Sar -~u -0 test 10 3 


输出 项 说 明 如 下 。 


“ CPU: 台 表 示 统 计 信 息 为 所 有 CPU 的 平均 值 。 我 们 可 以 使 用 sarPn 查 看 某 颗 CPU。 


“ %user: 显示 在 用 户 级 别 运行 和 使 用 CPU 总 时 间 的 百分比 。 


. %nice: 显示 在 用 户 级 别 ， 用 于 nice 操 作 ， 所 占用 CPU 总 时 间 的 百分比 。 


“ %system: 在 核心 级 别 (kernel) 运行 所 占用 CPU 总 时 间 的 百分比 。 


“ %iowait: 显示 用 于 等 待 I/O 操 作 所 占用 CPU 总 时 间 的 百分比 。 


“ %idle: 显示 CPU 空闲 时 间 所 占用 CPU 总 时 间 的 百分比 。 


1) 若 %iowait 的 值 过 高 ， 则 表示 硬盘 存在 MO 瓶颈 。 


2) 若 %idle 的 值 很 高 但 系统 响应 很 慢 时 ， 有 可 能 是 CPU 正在 等 待 分 配 内 存 ， 此 时 应 加 大 内 存 容 量 。 


3) 若 %idle 的 值 持续 低 于 10， 则 系统 的 CPU 处 理 能 力 相对 较 低 ， 表 明 系 统 中 最 需要 解决 的 资源 是 CPU。 


(2) 查看 网 络 的 统计 


语法 是 sar-n KEYWORD。 


KEYWORD 常 用 的 值 及 说 明 具 体 如 下 。 


“ DEV: 显示 网 络 设备 统计 ， 如 eth0、eth1 等 。 


“ EDEV: 显示 为 网 络 设备 错误 统计 。 


"NFS: 显示 NFS 客 户 端 活动 统计 。 


“ ALL: 显示 所 有 统计 信息 。 


如 下 命令 可 查看 网 络 设备 的 吞吐 ， 数 据 每 秒 更 新 一 次 ， 总 共 更 新 5 次 。 


[root@localhost ~]# sar -n DEV 1 5 


输出 项 说 明 。 


:第 一 字段 : 时 间 。 


:IFACE: 设备 名 。 


' rxpck/s: 每 秒 收 到 的 包 。 


“ txpck/s: 每 秒 传输 的 包 。 


byt/s: 每 秒 收 到 的 所 有 包 的 体积 。 
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“ txbyt/s: 每 秒 传输 的 所 有 包 的 体积 。 


“ rxcmp/s: 每 秒 收 到 的 数据 切割 压缩 的 包 的 总 数 。 


“ txcmp/s: 每 秒 传输 的 数据 切割 压缩 的 包 的 总 数 。 


“ rxmcst/s: 每 秒 收 到 的 多 点 传送 的 包 。 


可 以 使 用 grep 命 令 对 输出 进行 过 滤 ， 命 令 如 下 。 


sar -n DEV 2 Slgrep ethl 


如 果 想 知道 网 络 设备 错误 报告 ， 也 就 是 用 来 查看 设备 故障 的 。 应 该 用 EDEV 命 令 ; 比如 下 面 的 例子 。 


sar -n EDEV 2 5 


(3) 内 存 分 页 监控 


例如 ， 每 10s 采 样 一 次 ， 连 续 采 样 3 次 ， 监 控 内 存 分 页 ， 命 令 及 输出 结果 如 下 。 


sar -B 10 3 

10:45:04 AM pgpgin/s pgpgout/s fault/s majflt/s 
10:45:14 AM 606 3648.35 13893%21 0.00 
10:45:24 AM 626.17 3726.67 525;97 0.00 
10:45:34 AM DHT. 3734.53 Ly 0.00 
Average: 596.60 3703.17 4810.10 0.00 


输出 项 说 明 如 下 。 


. pgpgin/s: 表示 每 秒 从 磁盘 或 SWAP 置换 到 内 存 的 字 节 数 (KB) 。 


. pgpgout/s: 表示 每 秒 从 内 存 置换 到 磁盘 或 SWAP 的 字 节 数 (KB) 。 


“ fault/s: 每 秒 钟 系统 产生 的 缺 页 数 ， 即 主 缺 页 与 次 缺 页 之 和 (major+minot) 。 


“ majflt/s: 每 秒 钟 产生 的 主 缺 页 数 ， 这 会 导致 将 数据 从 磁盘 加 载 到 内 存 ， 因 此 需要 留意 。 


(4) I/O 和 传送 速率 监控 


例如 ， 每 10s 采 样 一 次 ， 连 续 采 样 3 次 ， 需 要 键入 如 下 命令 。 


sar -b 10 3 


输出 项 说 明 如 下 。 


“ tps: 每 秒 钟 物理 设备 的 I/O 传 输 总 量 。 


“rtps: 每 秒 钟 从 物理 设备 读 入 的 数据 总 量 。 


“ wtps: 每 秒 钟 向 物理 设备 写 入 的 数据 总 量 。 


“ bread/s: 每 秒 钟 从 物理 设备 读 入 的 数据 量 ， 单 位 为 块 /s。 


“ bwrtn/s: 每 秒 钟 向 物理 设备 写 入 的 数据 量 ， 单 位 为 块 /s。 


(5) 进程 队列 长 度 和 平均 负载 状态 监控 


例如 ,每 10s 采 样 一 次 ， 连 续 采样 3 次 ， 监 控 进 程 队列 长 度 和 平均 负载 状态 ， 命 令 如 下 。 


Sar =q 10 3 


输出 项 说 明 如 下 。 


:runq-sz: 运行 队列 的 长 度 ( 等 待 运行 的 进程 数 ) 。 


“ plist-sz: 进程 列表 中 进程 (processes) 和 线程 (threads) 的 数量 。 


“ ldavg-1: 最 后 1 分 钟 的 系统 平均 负载 (system load average) 。 


“ldavg-5: 过 去 5 分 钟 的 系统 平均 负载 。 


:ldavg15: 过 去 15 分 钟 的 系统 平均 负载 。 


(6) 系统 交换 活动 信息 监控 


例如 ， 每 10s 采 样 一 次 ， 连 续 采 样 3 次 ， 监 控 系统 交换 活动 信息 ， 命 令 如 下 。 


sar -W 10 3 


输出 项 说 明 如 下 。 


:bswpin/s: 每 秒 系统 换 入 的 交换 页 面 (swap page) 数量 。 


. pswpout/s: 每 秒 系统 换 出 的 交换 页 面 数量 。 


(7) 设备 使 用 情况 监控 


例如 ,每 10s 采 样 一 次 ， 连 续 采样 3 次 ， 报 告 设备 使 用 情况 ， 需 要 键入 如 下 命令 。 


a 


中 ， 参 数 -p 可 以 打印 出 sda、hdc 等 易 读 的 磁盘 设备 名 称 ， 如 果 不 使 用 参数 -p， 设 备 节点 则 有 可 能 是 dev8-0、dev22-0 这 样 的 形式 。 


输出 项 说 明 如 下 。 


“ tps: 每 秒 从 物理 磁盘 1/O 〇 的 次 数 。 多 个 逻辑 请 求 会 被 合并 为 一 个 I/O 〇 磁盘 请 求 ， 一 次 传输 的 大 小 是 不 确定 的 。 


“1d_sec/s: 每 秒 读 户 区 的 次 数 。 


“ wr_sec/s: 每 秒 写 扇 区 的 次 数 。 


“ avgrq-sz: 发 送 到 设备 的 请 求 的 平均 大 小 ， 单 位 为 扇 区 。 


“av8gqu-sz: 磁盘 请 求 队列 的 平均 长 度 。 


“ await: 从 请 求 磁盘 操作 到 系统 完成 处 理 ， 每 次 请 求 的 平均 消耗 时 间 ， 包 括 请 求 队列 的 等 待 时 间 ， 单 位 是 毫秒 。 


“svctm; 系统 处 理 每 次 请 求 的 平均 时 间 ， 不 包括 在 请 求 队列 中 消耗 的 时 间 。 


“ %util: I/O 请 求 占 CPU 的 百分比 ， 比 率 越 大 ， 说 明 越 饱和 。 


1) avgqu-sz 的 值 较 低 时 ， 设 备 的 利用 率 较 高 。 


2) 当 %util 的 值 接近 100% 时 ， 表 示 设 备 带 宽 已 经 占 满 。 


(8) 查看 历史 统计 信息 


有 时 我 们 希望 能 够 看 到 历史 性 能 统计 信息 ， 可 以 进入 目录 /var/log/sa， 使 用 sar-f saXX 命 令 查看 历史 数据 ， 例 如 ， 


sar -f sa22 


默认 将 显示 整 天 的 数据 。 我 们 可 以 加 上 -s 选 项 指定 特定 时 间 段 的 数据 ， 例 如 ， 


sar -q -f sal3 -s 14:00:00 | head -n 10 


以 上 命令 将 只 显示 13 日 14 点 之 后 的 load 的 统计 数据 ， 且 只 显示 最 前 面 的 10 条 记录 。 


(9) 输出 inode、 文 件 和 其 他 内 核 表 的 统计 信息 


Sar ~v 10 3 


输出 项 说 明 如 下 。 


“ dentunusd: 目录 高 速 缓 存 中 未 被 使 用 的 条 目 数 量 。 


' fle-nt: 文件 句柄 (fle handle) 的 使 用 数量 。 


inode-nr: 索引 节点 句柄 (inode handle) 的 使 用 数量 。 


要 想 判断 系统 的 瓶颈 问题 ， 有 时 需要 将 几 个 sar 命 令 选项 结合 起 来 。 


“ 怀疑 CPU 存在 瓶颈 ， 可 用 saft-u 和 sat-q 等 来 查看 。 


' 怀疑 内 存 存在 瓶颈 ， 可 用 sar-B、sar-r 和 sar-W 等 来 查看 。 


' 怀疑 I/O 存 在 瓶颈 ， 可 用 sar-b、sar-u 和 sat-d 等 来 查看 。 


2.iostat 


iostat 是 VO statistics (输入 /输出 统计 ) 的 缩写 ，iostat 工 具 将 对 系统 的 磁盘 操作 活动 进行 监视 。 它 的 特点 是 汇报 磁盘 活动 的 统计 情况 ， 同 时 也 将 汇报 出 CPU 的 使 用 情况 。iostat 有 一 个 弱点 ， 那 就 是 


iostat 的 语法 如 下 。 


iostat [ optionshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... ] [ <interval> [ <count> ] ] 


举例 如 下 。 


iostat -x sda 1 
iostat -txm 10 3 


参数 及 说 明 分 别 如 下 。 


“-t; 打印 汇报 的 时 间 。 


: -x: 默认 显示 所 有 设备 。 


 -m; 统计 信息 显示 每 秒 多 少 MB 而 不 是 默认 的 每 秒 多 少 块 。 


出 项 解析 如 下 。 


“ avgqu-sz: 对 于 在 线 OLTP 业 务 ， 应 该 大 概 近 似 于 MYSQL 的 页 块 大 小 ， 如 果 你 看 到 这 个 值 远 远大 于 你 的 MySQL 实例 页 块 (16KB) ， 那 么 可 能 存在 一 些 其 他 的 非 数 据 库 I/O 负 荷 ， 或 者 你 的 数据 库 因 关 


“ svctm: 服务 时 间 。 


.avwait: 平均 等 待 时 间 。 


磁盘 I/O 请 求 包含 服务 时 间 (svctm) 和 等 待 时 间 (await) ，svctm 一 般 小 于 10ms， 我 们 要 重点 关注 await。 


.outil: 磁盘 利用 率 。 


在 磁盘 利用 率 达到 100% 的 时 人 息 ， 意 味 着 存在 I/O 瓶 颈 ， 这 个 时 候 ，I/O 达 到 饱和 ， 此 时 的 吞吐 率 我 们 可 以 用 如 下 公式 来 衡量 : 


(r/stw/s)*svctm=%outil 


此 时 ， 香 吐 率 (r/s+w/s) 就 是 svctm 的 倒数 。 注 意 ， 此 公式 仅 在 磁盘 利用 率 达 到 100% 的 时 候 成 立 。 


3.vmstat 


vmstat 这 个 工具 提供 了 系统 整体 性 能 的 报告 ， 它 能 对 进程 、 内 存 、 页 交换 、Il/O、 中 断 及 CPU 使 用 情况 进行 统计 并 报告 信息 。vmstat 的 输出 类 似 如 下 。 


vmstat 2 222 


BOOA OO ee ee SY 一 \ age 

rb swpd free buff cache si so bi bo in csus sy idwa st 

1 0 0 27724752 1103508 26829932 0 0 0 26 0 03096 00 
2 0 0 27725012 1103508 26829940 0 0 0 136 7293 10504 5 0 935 0 0 

1 0 0 27724244 1103508 26830532 0 0 0 4096 7620 11758 6 1 93 0 0 


我 们 一 般 关注 r、b、id 及 si、so。 


(1) procs 部 分 


r: 表示 当前 有 多 少 进程 正在 等 待 运行 ， 如 果 r 是 连续 的 大 于 在 系统 中 的 CPU 的 个 数 ， 则 表示 系统 现在 运行 得 比较 慢 ， 有 多 数 的 进程 正在 等 待 CPU。 


b: 表示 当前 有 多 少 进程 被 阻塞 。 


(2) memory 部 分 


swpd、free、buff、cache 这 4 项 展示 了 内 存 是 如 何 使 用 的 ，swap 列 显示 了 swap 被 使 用 的 数量 ，free 列 显示 了 目前 空闲 的 内 存 ，buffer 列 显示 了 buffer 所 使 用 的 内 存 ，cache 列 显示 了 page cacheF 


(3) swap 部 分 


si: 每 秒 从 磁盘 交换 到 swap 的 内 存 。 


so: 每 秒 从 swap 交 换 到 磁盘 的 内 存 。 


si、so 正 常情 况 下 应 该 等 于 0， 如 果 持 续 不 为 0%， 那 么 很 可 能 存在 性 能 问题 。 


(4) io 部 分 


bi: 从 块 设备 读 入 数据 的 总 量 ( 读 磁盘 ) 。 


bo: 块 设备 写 入 数据 的 总 量 ( 写 磁 盘 ) 。 


bi、bo 的 变化 反映 了 我 们 磁盘 读 取 和 写 入 的 速率 。 


(5) system 部 分 


in: 每 秒 中 断 次 数 ， 包 括 时 钟 。 


cs; 每 秒 上 下 文 切 换 次 数 。 


(6) CPU 部 分 


这 些 列 展示 了 不 同 CPU 完 成 不 同 任务 的 CPU 时 间 百 分 比 。 我 们 由 此 可 以 得 知 ，CPU 是 否 真正 在 做 事 ， 还 是 处 于 空闲 或 等 待 状 态 。 很 高 的 sy 值 ， 表 明 可 能 有 过 多 的 系统 调用 或 系统 调用 效率 不 高 。 


“ us; 运行 非 内 核 代码 所 花费 的 时 间 百 分 比 ， 即 进程 在 用 户 态 使 用 的 CPU 时 间 百 分 比 。 


“sy: 运行 内 核 代码 所 花费 的 时 间 百 分 比 ， 即 进程 在 系统 态 使 用 的 CPU 时 间 百 分 比 。 


“id: 空闲 的 CPU 时 间 百 分 比 。 


“ wa: 等 待 /O 的 CPU 时 间 百 分 比 。 


“ st; 从 虚拟 机 偷 取 的 CPU 时 间 百 分 比 。 


4.oprofile 


oprofile 是 Linux 内 核 支持 的 一 种 性 能 分 析 机 制 ， 是 一 套 低 开销 的 工具 集合 ， 简 单 易 用 ， 适 


Dp 


于 在 实际 的 系统 中 分 析 程 序 的 性 能 瓶颈 。 它 可 以 工作 在 不 同 的 体系 结构 上 ,包括 MIPS、ARM、1IA32、|A 


通过 oprofile 这 个 工具 ， 开 发 人 员 可 以 得 知 一 个 程序 的 瓶颈 在 哪里 ， 进 而 指导 代码 优化 。 


oprofile 的 基本 原理 是 进行 抽样 统计 。 处 理 器 定时 中 断 ，oprofile 可 在 这 个 时 候 记录 哪些 代码 正在 执行 。 往 往 耗 时 更 长 的 代码 被 取样 的 次 数 更 多 ， 通 过 这 种 方式 ， 我 们 可 以 发 现 哪个 可 执行 程序 或 哪 1 


系统 的 运行 ， 往 往 就 是 在 处 理 各 种 事件 ， 比 如 CPU 指令 、 磁 盘 V/O、 网 络 包 、 系 统 调用 、 库 调用 、 应 用 程序 事务 、 数 据 库 查询 ， 等 等 。 性 能 分 析 和 往往 分 析 和 研究 这 些 事件 的 统计 ， 例 如 每 秒 操作 的 ; 


oprofile 支 持 两 种 采样 (sampling) 方式 : 基于 事件 的 采样 (eventbased) 和 基于 时 间 的 采样 (timebased) 。 


基于 事件 的 采样 是 oprofile 只 记录 特定 事件 的 发 生 次 数 。 这 种 方式 需要 CPU 内 部 有 性 能 计数 器 (performace counter) 。 


基于 时 间 的 采样 是 oprofile 借 助 Os 时 钟 中 断 的 机 制 ， 每 个 时 钟 中 断 时 oprofile 都 会 记录 一 次 ( 采 一 次 样 ) ， 引 入 此 种 采样 方式 的 目的 在 于 提供 对 没有 性 能 计数 器 的 CPU 的 支持 ， 其 精度 相对 于 基于 事 ' 


虽然 说 基于 事件 的 方法 在 理论 上 更 精确 ， 但 在 大 部 分 简单 的 场景 下 ， 基 于 时 间 的 方法 也 能 工作 得 很 好 ， 所 以 ， 如 果 你 的 CPU 在 基于 事件 的 性 能 诊断 中 存在 异常 的 情况 ， 那 么 就 使 用 基于 时 间 的 方法 好 


许多 人 不 知道 如 何 有 效 地 使 用 oprofile 来 进行 性 能 优化 ， 这 里 将 介绍 一 些 基本 的 用 法 。 为 了 及 时 反映 软 硬 件 的 发 展 ， 支 持 不 同 的 CPU，oprofile 版 本 更 新 得 比较 频繁 ， 目 前 版 本 (截至 2014 年 10 月 6E 


opcontrol --version 
opcontrol: oprofile 0.9.4 compiled on Nov 22 2011 12:03:03 


我 的 生产 环境 是 RHEL 5.4， 如 果 需 要 oprofile 内 核 ， 则 需要 安装 内 核 符号 信息 ， 命 令 如 下 。 


rpm -i kernel-debuginfo-common-2.6.18-164.e15.x86_64.rpm 
rpm -i kernel-debuginfo-2.6.18-164.e15.x86_64.rpm 


安装 好 的 vmlinux 在 这 里 。 


/usr/lib/debug/1lib/modules/2.6.18-164.e15/vmlinux 


oprofile 包 含有 一 系列 的 工具 集 ， 这 些 工具 默认 在 路 径 /usr/bin 之 下 ， 工 具 及 说 明 分 别 如 下 。 


1) op_help: 列 出 可 用 的 事件 ， 并 带 有 简短 的 描述 。 


2) opcontrol: 控制 oprofile 的 数据 收集 。2012 年 ，oprofile 0.9.8 开 始 引 入 operf 工 具 ， 将 替换 旧 的 基于 opcontro| 的 工具 ， 人 允许 非 root 用 户 也 可 以 进行 性 能 监测 。 


opcontrol 的 配置 默认 在 /root/.oprofile/daemonrc 下 ， 可 以 使 用 demsg 查 看 oprofile 使 用 的 是 哪 一 种 模式 。 


3) opreport: 对 结果 进行 统计 输出 。 一 般 存 在 两 种 基本 形式 。 


* opreport-f 


* opreport-l which oprofiled’2>/dev/null| more 
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opannaotate: 产生 带 注释 的 源 文件 /汇编 文件 ， 源 语言 级 的 注释 需要 在 编译 源 文 件 时 加 上 的 调试 符号 信息 的 支持 。 
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opgprof : 产生 与 gprof 相 似 的 结果 。 
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oparchive: 将 所 有 的 原始 数据 文件 收集 打包 ， 从 而 可 以 在 另 一 台 机 器 上 进行 分 析 。 


7) opimport: 将 采样 的 数据 库 文件 从 另 一 种 abi 外 部 格式 转化 为 本 地 格式 。 


基本 步骤 具体 如 下 。 


1) opcontrol--no-vmlinux# 不 对 内 核 进行 性 能 分 析 


或 者 opcontrol--vmlinux=/boot/vmlinux- "uname-r# 对 内 核 进行 性 能 分 析 


默认 的 配置 存放 在 /root/.oprofile/daemonrc 中 


区 


的 采样 的 文件 存放 在 /var/lib/oprofile/samples/ 中 


也 可 以 指定 默认 数据 存放 的 地 方 ， 命 令 如 下 。 


口 


opcontrol --no-vmlinux --session-dir=/home/me/tmpsession 
opcontrol --start --session-dir=/home/me/tmpsession 


在 开始 收集 采样 数据 前 可 回顾 下 我 们 的 设置 ， 运 行 opcontrol--status。 


2) 清除 上 一 次 采样 到 的 数据 。 


opcontrol --reset 


3) 开始 收集 信息 。 


opcontrol --start 


4) 运行 程序 ， 


施加 负荷 。 


5) dump 出 收集 的 数据 ， 然 后 可 以 继续 运行 或 关闭 oprofile。 


opcontrol --dump 


我 们 可 以 随时 运行 命令 opcontrol--reset 清 除 我 们 当前 会 话 的 采样 数据 ， 


置 计数 器 。 


由 


6) 停止 数据 收集 ， 且 kill 掉 daemon 进 程 。 


opcontrol --shutdown 


默认 将 数据 放 在 /var/lib/oprofile/samples 下 ， 可 以 使 用 opcontrol--reset 清 理 文件 。 


7) 输出 统计 报告 。 


opreport -f [--session-dir=dir] 
查看 系统 级 别 的 报告 : opreport--long-filenames。 
查看 模块 级 别 的 报告 ，opreport image: 进 程 路 径 -1， 命 令 如 下 。 


opreport -1 image:/bin/myprog, /bin/myprog2 


opreport image:/usr/bin/\* 


查看 源码 级 别 的 报告 ，opannotate image: 进 程 路 径 -s。 


输出 的 报告 类 似 于 图 16-12 的 形式 。 


CPU: Intel Architectural Perfmon, 


peed 2400.09 Mz (estimated) 


cycles When not halted) with a unit mask of 0x00 (No unit mask) count 100000 


已 
C 


Counted CPU CLK UNHALTED events (Clock 
CPU_CLK_UNHALT... | 
samples| 


307475 61, 2 no-wmlimx 
160056 26. ha_irnodb_plugin. so.0.0.0 
105916 .T7465 mysqld 
2 libc-2.5.so 
libpthread-2.65.so 
oprofiled 
bash 
ld-2.5.so 
libcrypto. so.0.9.8e 


sendmail. sendmail 
iscsid 


图 16-12 ”oprofile 工 具 的 一 个 输出 报告 


其 中 ， 第 一 列 是 收集 的 采样 数据 的 统计 次 数 ， 第 二 列 是 耗费 的 时 间 百分比 ， 第 三 列 是 进程 名 。 


oprofile 还 可 以 观测 事件 列表 命令 如 下 。 


opcontrol --list-events 


如 下 是 一 个 完整 的 示例 。 


opcontrol --start --no-vmlinux --separate=kernel # 启 动 收集 程序 运行 中 ， 此 时 oprofile 收 集 数据 
opcontrol --status # 显 示 状 态 

opcontrol -h # 关 闭 oprofile 

opreport -f | more # 显 示 报 告 

opreport image: /usr/local/mysql-5.1.58-linux-x86 64-glibc23/bin/mysqld 

opreport -1 image: /usr/local/mysql-5.1.58-linux-x86 64-glibc23/bin/mysqld | more 


注意 事项 


“ 不 建议 在 虚拟 机 里 利用 oprofile 来 测试 性 能 。 


“ 调试 的 内 核 最 好 是 原生 内 核 。 


“ 使 用 oprofile 定 位 CPU 密 集 型 的 场景 是 合适 的 ， 但 对 于 某 些 [/ 〇 密集 型 或 是 低 负 载 类 型 的 场景 就 会 有 些 无 能 为 力 ， 这 时 可 以 借助 其 他 工具 进一步 定位 性 能 瓶颈 。 


5.free 


free 命 令 用 于 显示 系统 的 自由 内 存 和 已 经 被 使 用 的 内 存 。free 指 令 显示 的 内 存 的 使 用 情况 包括 实体 内 存 、 虚 拟 的 交换 文件 内 存 、 共 享 内存 区 段 及 系统 核心 使 用 的 缓冲 区 等 。 


语法 : free[-bkmotV][-s] 


参数 及 说 明 分 别 如 下 。 


“ -b: 以 Byte 为 单位 显示 内 存 使 用 情况 。 


“ 尿 : 以 KB 为 单位 显示 内 存 使 用 情况 。 


“ -m: 以 MB 为 单位 显示 内 存 使 用 情况 。 


. -0: 不 显示 缓冲 区 调节 列 。 


“-s: 持续 观察 内 存 使 用 状况 。 


“ -t: 显示 内 存 总 和 列 。 


如 下 是 free 命 令 的 输出 。 
free 
total used free shared buffers cached 
Mem: 65966584 65787112 179472 0 443532 15532932 
-/+ buffers/cache: 49810648 16155936 
Swap: 16779884 316 16779568 
其 中 各 项 说 明 如 下 。 


: Mem: 表示 物理 内 存 统计 。 


' -/+buffers/cache: 表示 物理 内 存 的 缓存 统计 。 


“Swap; 表示 硬盘 上 交换 分 区 的 使 用 情况 ， 这 里 我 们 不 去 关心 。 


“ 系统 的 总 物理 内 存 : 65966584 (64GB) ， 但 系统 当前 真正 可 用 的 内 存 大 小 并 不 是 第 一 行 free 标 记 的 179472KB ， 它 仅 代 表 未 被 分 配 的 内 存 。 以 下 我 们 将 逐 行 解释 输出 。 


第 1 行 Mem 


“ total : 表示 物理 内 存 总 量 。 


“ used: 表示 总 计 分 配给 缓存 (包含 buffers 与 cache) 使 用 的 数量 ， 但 其 中 可 能 有 部 分 缓存 并 未 实际 使 用 。 


“ free: 未 被 分 配 的 内 存 。 


.shared: 共享 内 存 。 


“buffers: 系统 已 分 配 但 未 被 使 用 的 buffers 数 量 。 


“ cached: 系统 已 分 配 但 未 被 使 用 的 cache 数 量 。 


buffer 指 的 是 作为 buffer cache 的 内 存 ， 即 块 设备 的 读 写 缓冲 区 。cache 指 的 是 作为 page cache 的 内 存 ， 即 文件 系统 的 cache。 如 果 cache 的 值 很 大 ， 则 说 明 cache 住 的 文件 数 很 多 。 如 果 频 繁 访问 至 


total=used+free 


第 2 行 ”-/+buffers/cache 


“used: 也 就 是 第 一 行 中 的 used-buffers-cached， 也 是 实际 使 用 的 内 存 总 量 。 


* free: 未 被 使 用 的 buffers 与 cache 和 未 被 分 配 的 内 存 之 和 ( 见 第 一 行 buffers、cached、free) ， 这 就 是 系统 当前 实际 可 用 的 内 存 。 


第 2 行 所 指 的 是 从 应 用 程序 的 角度 来 看 ， 对 应 用 程序 来 讲 ，buffers/cache 是 等 同 可 用 的 ， 当 程序 使 用 内 存 时 ，buffers/cache 会 很 快 地 被 使 用 。 从 应 用 程序 的 角度 来 说 ， 可 用 内 存 = 系 统 free memol 


第 1 行 Mem 是 对 操作 系统 来 讲 的 。buffers/cache 都 是 属于 被 使 用 的 ， 所 以 它 认 为 free 只 有 179472。 


我 们 一 般 理解 的 free 输 出 应 该 从 应 用 程序 的 角度 去 理解 ， 应 该 关注 第 二 行 的 free 输 出 ， 也 就 是 16155936KB。 因 为 那些 buffers 和 cache 是 可 能 被 重用 的 。 


-/+ buffers/cache: 49810648 16155936 


6.top 


能 够 实时 显示 系统 中 各 个 进程 的 资源 占用 状况 ， 类 似 于 Windows 的 任务 管理 器 。 它 不 断 更 新 最 新 情况 直至 用 户 结束 程序 。 默 认 情况 下 ， 可 列 出 消耗 CPU 资源 最 多 的 十 多 个 进程 。 你 也 可 以 交互 式 地 名 


以 下 是 一 个 系统 运行 top 命 令 的 例子 。 


top -~ 17:10:08 up 497 days, 40 min, 1 user, load average: 0.19, 0.26, 0.26 
Tasks: 433 total, 2 running, 430 sleeping, 0 stopped, 1 zombie 

Cpul(s): 0.5%us, 0.2%sy, 0.0%ni, 99.1%id, 0.2%wa, 0.0%hi, 0.1%si, 0.0%st 
Mem: 65966584k total, 65791212k usedy 175372k free, 444868k buffers 


Swap: 16779884k total, 316k used, 16779568k free, 15532032k cached 
PID USER PR NI VIRT RES SHR S SCPU %MEM TIME+ COMMAND 

19462 mysql 15 0 29.4g 29g 9996 S 16.2 46.4 111787:00 /usr/local/mysql/bin/mysqld --defaults-file=/my.cnf 
24901 nemo 15 0 13024 1368 812R 0.3 0.0 0:00.16 top -ce 

1 root 15 0 10368 640 544S 0.0 0.0 Ss12.51 init [3] 

2 root RT =5 0 0 Qs V0 00 1:39.38 [migration/0] 

3 root 34 19 0 0 0s 0.0 0.0 50:46.99 [ksoftirqd/0] 

4 root RE. =5 0 0 QQ 0 0 0:00.02 [watchdog/0] 


第 一 列 显示 的 是 当前 时 间 、 系 统 运行 时 间 (up time) 、 使 用 者 (users) 数目 和 平均 负载 (load average) 。 可 以 按键 切换 是 否 显示 。 


top -~ 17:10:08 up 497 days, 40 min, 1 user, load average: 0.19, 0.26, 0.26 


平均 负载 的 三 个 数值 分 别 表示 在 平均 过 去 1 分 钟 、5 分 钟 和 15 分 钟 ， 可 运行 或 不 可 中 断 状态 的 进程 数目 。 平 均 负载 为 1.0 表 示 一 个 CPU 被 占用 所 有 时 间 。 如 果 计算 机 有 多 个 CPU， 则 平均 负载 的 参考 值 ; 


第 二 列 显示 任务 (task) 信息 ， 任 务 表示 一 个 进程 或 一 个 多 线程 进程 中 的 某 个 线程 ， 任 务 信息 包括 任务 总 数 、 运 行 中 (running) 、 睡 眠 中 (sleeping) 、 已 停止 (stopped) 和 不 能 运行 (zombie 


Tasks: 433 total, 2 running, 430 sleeping, 0 stopped, 1 zombie 


第 三 列 显 示 CPU 状 态 ， 包 括 以 下 信息 。 


“us (user) : 用 户 空间 (uset space) 占用 CPU 的 百分比 。 


“sy (system) : 核心 空间 (kernel space) 占用 CPU 的 百分比 。 


“ni (nice) : nice 值 比 一 般 值 0 大 〈 优 先 序 较 低 ) 的 进程 占用 CPU 的 百分比 。 


“id (idle) : CPU 空闲 时 间 百 分 比 。 


“ wa (iowait) : CPU 等 待 的 百分比 。 当 值 过 高 时 (如 超过 30%) ， 表 示 系 统 的 存储 或 网 络 I/O 性 能 存在 问题 。 


“hi (HAW Interrupt) : CPU 处 理 硬件 中 断 时 间 的 百分比 。 除 非 光驱 不 断 检查 是 否 有 光盘 外 ， 此 值 一 般 不 会 太 高 。 


“si (S/W Interrupt) : CPU 处 理 软 件 中 断 时 间 的 百分比 ， 此 值 一 般 不 会 太 高 。 


“st (Steal) : 在 如 Xen 等 的 虚拟 环境 下 ，CPU 运 作 虚 拟 机 器 时 间 的 百分比 。 太 高 ， 则 表示 可 能 需要 停止 一 些 虚 拟 机 器 。 


Cpul(s): 0.5%us, 0.2%sy, 0.0%ni, 99.1%id, 0.2%wa, 0.0%hi, 0.1%si, 0.0%st 


第 四 列 和 第 五 列 分 别 显 示 内 存 和 交换 空间 (swap space) 的 使 用 率 。 可 以 按 【M 】 键 切换 是 否 显示 。 


Mem: 65966584k total, 65791212k used, 175372k free, 444868k buffers 
Swap: 16779884k total, 316k used, 16779568k free, 15532032k cached 


其 他 一 些 示例 如 下 。 


默认 情况 下 ，top 是 交互 式 (interactive) 的 输出 ， 会 一 直 在 屏幕 上 刷新 ， 如 果 我 们 需要 获取 top 的 输出 ， 那 么 我 们 可 以 使 


批 处 理 模式 。 例 如 如 下 示例 。 


ee 4 


其 中 各 参数 及 说 明 分 别 如 下 。 


“ -b: 批 处 理 模式 操作 。 


“-d: 刷新 时 间 间 隔 。 


“-n; 交互 次 数 ， 即 输出 几 次 。 


如 下 例子 可 指定 某 个 或 某 几 个 进程 的 top 输 出 。 


top -p 4360,4358 


如 下 例子 可 指定 某 个 用 户 的 top 输 出 。 


top -u garychen 


7.dstat 


对 比 其 他 工具 ，dstat 更 强大 ， 可 观察 性 也 更 强 ，dstat 可 综合 显示 各 种 系统 资源 的 使 用 情况 ， 如 磁盘 、 网 络 、CPU、 内 存 等 。 


以 下 是 运行 dstat 的 一 个 示例 。 


dstat 2 10 

You did not select any stats, using -cdngy by default. 

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- 

usr sys idl wai hiq siq| read writ| recv send| in out | int CSW 

4 0 95 0 0 0l2269B 641k| 0 0 1 0 0 12867 5261 
了 ”全 有 7 和 看 全 0 134k| 552k 3655k 0 0 16787 11k 
19 0 80 0 0 0l 0 1096k| 608k 3724k 0 0 16924 12k 
6 0 94 0 0 0l 0 1182k| 501k 3246k 0 0 16351 8553 

15 二 人 全 和 他 0 206k| 576k 4241k 0 0 16800 12K 
2 1 78 人 和 全 0 504k| 597k 6403k 0 0 17053 14k 
12 0 87 0 0 0l 0 304k| 461lk 5518k 0 0 16229 9607 
18 让- 人 站 全 0 328kl 511k 6113k 0 0 16651 12k 
项 -下 3 站 外 /全 0 266k| 580k 6359k 0 0 17116 14k 
了 SS 人 外 人 0 188k| 673k 7052k 0 0 17452 3 
14 0 86 0 0 0l 0 144k| 532k 6051k 0 0 16557 8724 


上 面 输出 中 total-cpu-usage 部 分 的 hiq、siq 分 别 为 硬 中 断 和 软 中 断 的 次 数 。 


上 面 输 出 中 system 部 分 的 int、csw 分 别 为 系统 的 中 断 (interrupt) 次 数 和 上 下 文 切换 (context switch) 。 


出 


若 要 将 结果 输出 到 CSV 文 件 可 以 加 --output filename。 我 们 可 以 使 用 绘图 工具 对 此 文件 进行 画 


网 


。 如 果 内 核 支持 ， 还 可 以 使 用 --top-io-adv 参 数 查看 最 消耗 MO 的 进程 。 


8.netstat 


于 显示 各 种 网 络 相关 的 信息 。 


netstat 命 令 上 


常见 的 参数 及 说 明 分 别 如 下 。 


“ -a: 叫 ， 显 示 所 有 选项 ， 默 认 不 显示 LISTEN 相 关 。 


“-t; tcp， 仅 显示 TCP 相 关 选 项 。 


“ -u: udp， 仅 显示 UDP 相关 选项 。 


“ -n: 不 显示 别名 ， 能 显示 为 数字 的 全 部 转化 成 数字 。 


: 仅 列 出 有 正在 Listen (监听 ) 的 服务 状态 。 


. -p: 显示 建立 相关 链接 的 程序 名 。 


“ -+: 显示 路 由 信息 ， 路 由 表 。 


“ -e: 显示 扩展 信息 ， 例 如 uid 等 。 


“ -S; 按 各 个 协议 进行 统计 。 


“ -c: 每 隔 一 个 固定 时 间 ， 执 行 该 netstat 命 令 。 


下 面 将 列举 几 个 示例 进行 说 明 。 


我 们 可 以 使 用 netstat-tlpn 显 示 当 前 正在 监听 TCP 协 议 端口 的 MySQL 服 务 。 


以 下 命令 将 每 隔 一 秒 输 出 一 次 网 络 信息 ， 检 测 MySQL 服 务 是 否 已 经 起 来 并 监听 端口 了 。 


netstat -tlpnc |grep mysql 


以 下 命令 将 查看 连接 到 MySQL 服 务 端 口 的 IP 信 息 ， 并 按 连 接 数 进行 排序 。 


netstat -nat | grep ":3306" |awk '{print $5}'|awk -F: 


'{print $1}'|sortluniq -clsort -nrlhead -20 


9.mtr 


mtr 是 一 个 功能 强大 的 网 络 诊断 工具 ， 综 合 了 ping 和 tracerotue 的 功能 。 它 可 以 帮助 系统 管理 员 诊 断 网 络 异 常 ， 并 提供 友好 的 网 络 状态 报告 以 供 分 析 。 


以 下 将 介绍 mtr 的 数据 是 如 何 产生 的 ， 如 何 解读 mtr 的 报告 ， 


mtr 使 用 “ICMP” 包 来 测试 网 络 争 用 和 传输 ，mtr 的 工作 原理 是 : 启动 mtr 时 ， 它 通过 发 送 不 断 增 长 TTL (和 


mtr 连 续 发 送 不 断 增 长 TTL (生存 时 间 ) 的 ICMP 包 以 收集 中 间 路 由 器 的 信息 ， 包 括 各 种 连接 、 响 应 能 力 、 状 态 等 信息 ， 这 就 允许 mtr 能 够 打印 出 中 间 路 由 器 的 响应 率 和 响应 时 间 直 到 


以 及 如 何 诊断 异常 。 


E 存 时 间 ) 的 ICMP 包 来 测试 本 机 和 目标 3 


证 


机 的 连通 性 。TTL 控 制 了 ICMP 包 要 经 过 多 少 “ 蝇 


标 主机 。 丢 包 : 


我 们 可 以 把 mtr 看 作 一 个 单 向 的 衡量 网 络 质量 的 工具 ， 从 本 机 到 目的 主机 和 从 目的 主机 到 本 机 往往 走 的 是 不 一 样 的 网 络 路 径 ， 本 机 到 目的 主机 没有 丢 包 ， 但 目的 主机 到 本 机 却 可 能 会 丢 包 。 从 本 地 不 | 


示例 如 下 。 


mtr --report www.google.com 


添加 --report 表 示 发 送 10 个 包 到 目的 主机 www.google.com， 然 


如 何 阅读 报告 。 


如 下 是 一 个 对 google 的 mtr 报 告 。 


% mtr --no-dns --report google.com 


HOST: deleuze Snt Last 
ds Lo Ll 0 2.2 
2. 68.85.118.13 1 8.6 
3. 68.86.210.126 10 9.1 
4. 68.86.208.22 0 12.2 
5. 68.85.192.86 10” 73 
6. 68.86.90.25 10 14.2 
7. 68.86.86.194 10 17.6 
8. 75.149.230.194 “下 
9. 72.14.238.232 1 -15.6 

10. 209.85.241.148 10 16,3 
11. 66.249.91.104 10 22.2 


Avg Best Wrst StDev 
a 公投 2.7 


2 0.2 
11,.0 8.4 17.8 六 和 
L241 8.5 24.3 3: 

1531 11l27 23;4 4.4 
14.8 13.2 17:2 二 s 
ER | 工区 
16.8 15.5 18;1 0.9 
01 L150 33,8 总 在 
]8.7 14.1 “了 :9 
16.9 1 7 21,2 器; 这 
18.6 14.2 36.0 6,3 


后 生成 报告 。 如 果 不 加 --report 选 项 ， 那 么 mtr 会 一 直 在 交互 模式 中 运行 ， 交 互 模式 会 不 断 刷新 报告 以 反映 最 新 的 信息 。 一 般 情况 下 - 


我 们 从 报告 中 可 以 看 到 ， 如 上 的 mtr 经 过 了 11 跳 (hops) ， 


输出 项 说 明 如 下 。 


:1oss%: 每 一 跳 的 丢 包 率 。 


一 般 我 们 使 用 术语 “ 跳 ” 的 计数 来 标识 报告 中 的 问题 ， 


“ 跳 ” 指 的 是 因 


特 网 上 网 络 包 到 达 目 的 地 所 经 过 的 节点 和 路 


由 器 。 


“ Snt: 发 送 的 数据 包 数 量 。 


“ Last: 最 后 一 个 包 的 响应 时 间 〈 毫 秒 ) 。 


“ Avg: 所 有 包 的 平均 响应 时 间 (毫秒 ) ， 一 般 情 况 下 ， 我 们 更 关注 这 个 响应 时 间 。 


“ Best: 最短 的 响应 时 间 (毫秒 ) 。 


. Wrst: 最 长 的 响应 时 间 (毫秒 ) 。 


“ StDev: 响应 时 间 的 标准 差 。StDev 越 大 ， 表 示 各 个 包 的 响应 时 间 差 异 越 大 。 如 果 差 异 很 大 ， 我 们 可 能 需要 审视 下 Avg 的 平均 值 是 否 可 靠 ， 看 看 Best 和 Wrst， 确 认 Avg 是 否 能 够 代表 真实 的 延 时 时 间 ， 


一 般 情况 下 ， 我 们 可 以 把 以 上 的 输 1 


下 面 我 们 通过 4 个 例子 来 说 明 如 何 分 析 报 告 。 


报告 分 解 为 三 个 部 分 ， 前 几 跳 往 往 是 本 地 ISP， 最 后 的 两 三 跳 往往 是 


的 主机 的 ISP， 中 间 的 一 些 跳 是 网 络 传输 经 过 的 一 些 路 由 器 。 对 于 本 地 ISP 和 


的 主机 ISP 的 


示例 1: 当 我 们 阅读 报告 时 ， 我 们 一 般 关注 的 是 丢 包 率 和 延 时 。 如 果 我 们 在 任何 一 跳 看 到 有 超过 一 定 百分比 的 延 时 (比如 ， 超 过 5%) ， 那 么 那个 路 由 器 就 可 能 存在 问题 ， 但 也 存在 这 样 一 种 情况 ， 一 


root@localhost:~# mtr --report www.google.com 


HOST: ducklington 
.63.247.74.43 

. 63.247.64.157 
» 20951.130.213 


+ 712.14.233,.56 
s 209.85,254,247 
。64.233.174.46 


co ~ 上 wb 


. aix.prl.atl.google.com 


。gw-in-f147.1e100 .net 


Losss%s 


Snt Last 
10 D3 
10 0.4 
10 0.8 
10 6.7 
10 7.2 
T0395 
10 39,€ 
10 39.6 


Avg Best Wrst StDev 


0.6 U3 
1.0 0.4 
有 0.8 
6.8 太子 
.入 了 "于 
39.4 39,1 
40.4 39.4 
40.5 39.5 


DDNODnoewmP 
DONOPAIOY 


我 们 看 到 第 2 跳 的 丢 包 率 高 达 50%， 但 实际 上 并 没有 丢 包 。 判 断 是 否 真正 丢 包 ， 可 以 看 下 后 续 的 跳 ， 如 果 后 续 的 跳 显示 没有 丢 包 ， 那 么 就 没有 丢 包 ， 而 是 因为 ISP 限 制 了 ICMP 的 速率 。 


示例 2: ICMP 速 率 限制 和 丢 包 可 能 会 同时 出 现 ， 这 个 时 候 ， 丢 包 率 应 该 选择 后 续 的 跳 中 最 低 的 丢 包 率 ， 这 个 最 低 的 丢 包 率 才 代表 实际 的 丢 包 率 ， 例 如 下 面 的 例子 中 ， 丢 包 率 是 40%， 而 不 是 60%。 


root@localhost:~# mtr --report www.google.com 


HOST: localhost 
。 63.247.74.43 
.63.247.64.157 
* 209,51.130:213 


» T214233.56 
。 209.85.254.247 
» 64.233.174.46 


oo ~ oa 心 w IN 请 


。aix.Prl.at1.google.com 


。gw-in-f147.1e100.net 


Snt Last 
10 Yes 
10 0.4 
10 0.8 
10 6.7 
10 了 这 
10 和 
10 39.6 
10 39.6 


示例 3: 有 时 目的 主机 的 不 正确 配置 也 会 导致 天 包 ， 比 如 目的 3 


机 有 防火 墙 Drop 掉 了 ICMP 包 


， 例 如 下 面 的 例子 中 ， 我 们 可 以 看 到 最 后 一 跳 是 100% 的 丢 包 率 。 


root@localhost:~# mtr --report www.google.com 


HOST: localhost Losssg Snt Last Avg Best Wrst StDev 

1. 63.247.74.43 0.0% 10 0Q,3 0.6 0.3 1 这 站 和 

2. 63.247.64.157 0.0% 10 0.4 了 向 0.4 G1 18 

3. 209.51.130.213 0.0% 10 0.8 2.7 1 

4. aix.prl.atl.google.com 0.0% 10 6.7 6.8 看 :了 659 人 

5.. T7214.233.56 0.0% 10 了 8.3 Tl T1644 ‘2.9 

6. 209.85.254.247 0.0% 40 339 3 3957 ， 052 

7. 64.233.174.46 0.0% 10 39.6 40.4 39.4 46.9 2.3 

8. gw-in-f147.1e100.net 100.0 10 0.0 0.0 0.0 0.0 0.0 
示例 4: 有 时 路 由 器 出 于 某 种 原因 没有 正确 配置 ， 或 者 是 对 其 有 特殊 设置 ， 例 如 下 面 的 例子 中 ， 我 们 可 能 会 看 到 许多 问号 ， 但 网 络 质量 良好 ， 并 没有 发 生 丢 包 。 
root@localhost:~# mtr --report www.google.com 
HOST: localhost Loss Snt Last Avg Best Wrst StDev 

1. 63.247.74.43 0.0% 10 0:3 0.6 De3 工 .又 

2. 63.247.64.157 0.0% 10 0.4 1 0.4 6.1 

3，209,51.130.213 0.0% 10 0.8 2.7 0.8 19.0 Ss 

4. aix.prl.atl.google.com 0.0% 10 站 ,了 6.8 6.7 6.9 

5 2 0.0% 10 0.0 0.0 0.0 0.0 

6. ?223 0.0% 10 0.0 0.0 0.0 0.0 

Te 0.0% 10 0.0 0.0 0.0 0.0 


VD 

口 

] 

NN 
[=] 
© 

T 

上 

口 
Oooo 
Oooo 
ooo 
ooo 
Oooo 
Oooo 
Oooo 
ooo 
Oooo 
ooo 


跨 IDC 的 网 络 ， 本 身 就 不 是 很 稳定 ， 特 别 是 超 长 距离 的 横 跨 太 平 洋 、 大 西洋 的 网 络 ， 中 间 经 过 的 节点 很 多 ， 很 可 能 会 出 现 波动 或 堵塞 ， 导 致 延 时 很 高 ， 如 果 网 络 丢 包 率 不 是 很 高 (比如 大 于 10%) ，j 


网 络 的 质量 也 和 本 地 的 连接 、 负 载 有 关系 ， 所 以 测量 的 时 候 也 要 留意 这 些 因素 的 影响 。 


10.strace 


strace 是 一 个 简单 易 用 的 工具 ， 用 于 跟踪 一 个 进程 的 系统 调用 或 信号 产生 的 情况 ， 它 最 简单 的 用 法 就 是 跟踪 一 个 可 执行 文件 的 执行 ， 记 录 程 序 运行 过 程 中 的 系统 调用 。 


通过 使 用 参数 -c， 它 还 能 对 进程 中 所 有 的 系统 调用 做 一 个 统计 分 析 。 它 也 能 筛选 出 特定 的 系统 调用 ， 以 下 是 一 些 示例 。 


1) 查找 程序 启动 的 时 候 加 载 了 哪些 配置 文件 。 


$ strace php 2>&1 | grep php.ini 可 以 查看 加 载 了 哪个 php.ini 文 件 。 


如 果 想 只 筛选 某 个 系统 调用 则 可 以 使 用 如 下 命令 。 


$ strace -e open php 2>&1 | grep php.ini 


2) 有 时 程序 没有 权限 打开 文件 ， 它 并 不 会 提示 你 详细 的 信息 ， 这 时 我 们 就 可 以 用 strace 来 判断 是 否 存在 权限 的 问题 。 


$ strace -e open access 2>&1 | grep your-filename 


3) 对 于 一 些 很 消耗 资源 的 进程 ， 我 们 有 时 会 想 知 道 它们 正在 做 什么 ? 知道 了 pid 后 ， 可 以 使 用 -p 参 数 来 查看 。 


$ strace -p 15427 


4) 加 -c 参 数 进行 统计 分 析 ， 可 以 查看 哪些 操作 占据 了 最 多 资源 。 


$ strace -c -p 11084 


监视 一 段 时 间 后 ， 按 【Ctrl+C】 键 退出 ， 会 输出 统计 报表 供 你 分 析 。 


16.2.2 MySQL 诊断 工具 


1.MySQL 自 带 工 


MySQL 自 带 了 一 些 工具 ， 大 都 是 为 管理 的 目的 而 发 布 的 一 些 工具 ， 如 mysql、mysqladmin、mysqldump， 


一 般 我 们 可 以 通过 如 下 几 种 方式 来 收集 信息 。 


人体 的 使 有 


方法 ， 请 参考 前 


日 


的 章节 。 如 果 我 们 需要 获得 更 全 面 的 信息 ， 进 行 更 准确 的 放 


通过 使 用 mysql、mysqladmin 执 行 一 些 查询 和 命令 来 获取 当前 的 全 局 状态 变量 。 


' 查询 information_schema 库 下 面 的 表 ，information_schema 库 保存 了 一 些 数据 库 的 元 信息 ， 如 连接 信息 。 


: MySQL 5.5 版 本 后 新 增 了 performance_schema 库 ， 这 个 库 下 的 动态 性 能 视图 主要 用 于 收集 MYSQL 的 性 能 信息 ， 比 如 锁 、 事 件 等 信息 。 基 于 事件 的 调 优 是 一 个 方向 ， 未 来 performance_schema 会 越 来 越 成 


2.Percona 工 具 包 详 解 


(1) 介绍 和 安装 


Percona 工 具 包 是 Percona 公 司 的 一 个 性 能 诊断 工具 集 ， 由 于 MySQL 自 带 的 性 能 诊断 工具 很 匮乏 ， 所 以 很 多 时 候 需 要 借助 第 三 方 的 工具 来 协助 诊断 和 定位 问题 ， 作 为 一 名 DBA， 有 必要 熟练 使 用 Per 


本 书 所 介绍 的 内 容 是 基于 Percona toolkit 2.1 的 版 本 。 由 于 开源 工具 发 展 得 比较 快 ， 可 能 这 本 书 中 所 举 的 例子 已 不 再 适 


户 的 验证 ， 但 是 仍然 可 能 存在 一 些 风 险 因素 。 强 烈 建议 在 使 用 以 下 所 介绍 的 工具 之 前 ， 仔 细 阅 读 官 方 文档 ， 并 经 过 自己 的 


由 于 是 第 三 方 工具 ， 虽 然 有 Percona 公 司 的 支持 ， 许 多 工具 也 经 过 了 大 


我 们 可 以 下 载 源码 包 、 二 进 制 包 或 RPM 包 进行 安装 。 你 需要 确保 Perl 已 经 安装 了 模块 DBI 和 DBD::mysql。 可 以 很 容易 地 下 载 到 单独 的 工具 ， 下 载 命令 如 下 。 


wget percona.com/get/TOOL (工具 名 ) 


以 下 以 RHEL 5.464 位 为 例 简要 说 明 如 何 安装 Percona 工 


1) zect 下 
[root@db1000 pkgs]# perl --version 
his is perl, v5.8.8 built for x86 64-linux-thread-multi 
cpan> install Time::HiRes 7 
2) ”确认 perl 已 经 安装 了 DBI, DBD: :mysql, Time: :HiRes 
3) ”安装 Percona-toolkit 下 载 源码 包 ， 解压 之 ， 进 入 解压 缩 目录 
perl Makefile.PL 
make 
make test 
make install 上 默认 安装 在 /usr/bin/ 下 
ls ~lrt /usr/bin/pt~—*# 


Percona 工 具 也 有 其 配置 文件 ， 配 置 文 件 的 语法 简单 直接 ， 配 置 文 件 的 规则 具体 如 下 。 


“ 每 行 的 格式 可 以 是 : option=value 或 option， 等 于 号 两 边 的 空格 被 忽略 。 


“ -表示 选项 解析 结束 ， 后 面 的 行 都 是 程序 的 附加 参数 。 


“ 空格 # “空格 ”+ “##” 表 示 后 面 的 是 注释 内 容 。 


Percona 工 具 读 取 配 置 文件 的 顺序 具体 如 下 。 


1) /etc/percona-toolkit/percona-toolkit.conf: 全 局 配置 。 


2) /etc/percona-toolkit/TOOL.conf: 可 以 指定 某 个 工具 的 具体 配置 ， TOOL 是 工具 名 。 如 pt-query-digest 


3) $HOME/.percona-toolkit.conf: 这 是 用 户 下 的 一 个 全 局 配置 。 


4) $HOME/.TOOL.conf: 这 是 用 户 下 的 某 个 工具 的 具体 配 


也 可 以 在 命令 行 中 指定 配置 文件 ， 如 --config/path/to/file， 注 意 不 要 有 = 号 ， 必 须 把 --config 参 数 放 在 命令 行 的 最 前 面 。--config 表 示 不 读 取 任何 配置 文件 。 


Percona 工 具 包 一 般 支 持 使 用 DSN 语 法 来 设置 如 何 去 连 接 MySQL。DSN 的 英文 全 称 是 DATA SOURCE NAME， 一 个 DSN 是 一 个 逗号 分 隔 的 key=value 形 式 的 字符 串 ， 例 如 : h=host1,P=3306,u=b 


也 有 部 分 工具 不 支持 DSN 的 方式 连接 数据 库 ， 它 们 自身 提供 了 连接 数据 库 的 参数 ， 如 : “--host”、“--user”、“--password”。 


一 些 工具 可 同时 使 用 DSN 和 “--host”、““--user”、“--password” 之 类 的 参数 。 


一 些 标准 的 key 及 其 说 明 分 别 如 下 。 


例如 ， 


"DD: 


ht 


A=utf8 表 示 在 连接 时 SET NAMES UTF8 


数据 库 名 。 


: 设置 mysql 客 户 端 库 读 取 的 配置 文件 ， 如 果 不 进 行 设 置 ， 那 么 就 读 取 标 准 配置 文件 ， 如 /etc/my.cnf、$HOME/.my.cnf。 


主机 名 或 IP。 


: socket file。 


: 数据 库 账 号 。 


有 些 工 具 还 会 附加 一 些 其 他 的 key， 这 里 就 不 歼 述 了 。 


可 以 通过 设置 环境 变量 PTDEBUG=1， 启 用 Percona 工 具 的 Debug 功 能 。 命 令 的 Debug 信 息 会 输出 到 STDERR， 例如， 输出 Debug 信 息 到 一 个 文件 ， 命 令 如 下 。 


PTDEBUG=1 pt-table-checksum http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/... > FILE 2>&1 


(2) pt-query-digest 


pt-query-digest 是 最 应 该 被 掌握 的 一 个 工具 。 它 可 以 分 析 MySQL 的 各 种 日 志 ， 如 慢 查 询 日 志 、generel 日 志 ， 也 可 以 分 析 SHOW PROCESSLIST 的 输出 。 配 合 tcpdump 我 们 还 可 以 对 线 上 数据 库 流 


其 基本 用 法 如 下 。 


pt-query-digest /path/to/slow.1og > /path/to/keep/report file 


网 


如 果 你 有 大 量 的 数据 库 节 点 ， 可 以 考虑 把 pt-query-digest 的 分 析 报 告 写 入 数据 库 ， 以 方便 检索 和 绘 


输出 的 结果 报表 类 似 如 下 ， 以 下 截取 了 报告 的 部 分 内 容 。 


Overal1: 565 total, 22 unique, 0.00 QPS，0.00x concurrency 
Time range: 2012-09-22 18:33:43 to 2012-10-16 10:45:31 
Attribute total min max avg 5% stddev median 


Exec time 1233s 503ms 15s 2s 7s 2s 1s 
Lock time 53ms 31us 145us 94us 119us 17us 93us 

Rows sent 1.67k 0 2 3.02 9.83 4.12 0.99 
Rows examine 616.77M 72.90k 12.03M 1.09M 6.61M 2.02M 245.21k 

Query size 139.49k 35 381 25228. 346.17 70.94 234.30 

Profile 

Rank Query ID Response time Calls R/Call Apdx V/M Item 


# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# OxBE5D289C750F172A 308.6929 25.0% 40 7.7173 0.00 0.08 SELECT ccc tbl eee tbl dddq bbb 

# Ox5C898C5E065DD204 149.4144 12.1%$ 105 1.4230 0.50 0.00 SELECT tbl dqd info tbl eee tbl ddd 
# Ox6F05415421300718 136.7381 11.1% 97 1.4097 0.50 0.00 SELECT tbl ddqd info tbl eee tbl ddd 
# Ox2E9AEA41A4D2149A1 123.0681 10.0% 22 5.5940 0.00 0.02 SELECT ccc tbl eee tbl ddd bbb 
# OxAFF556BC27138443 121.9603 9.9% 73 1.6707 0.50 0.00 SELECT tbl ddd info tbl] eee tbl dad 

# OxDO7F224EF598BD9A 105.0456 8.5% 16 6.5653 0.00 0.23 SELECT ccc tbl eee tbl ddd bbb ” 

# OxC22F9709F846BB4E 99.1936 8.0% 73 1.3588 0.50 0.00 SELECT tbl ddd info tbl] eee tbl dad 
# 0x4CAD792BF4A54CE9 53.7477 4.4% 4 13.4369 0.00 0.17 SELECT tbl fff tbl eee tbl ddd 

# 0x347319A37AC29893 397:1390 .3.2% 69 0.5672 1.00 0.00 SELECT tb] fff pt game base score 
# 0x7EF77B274F1C37D3 27.2826 2,2% 4 6.8207 0.00 0.00 SELECT ccc tbl eee tbl dddq bbb 

# 11 0x8383B2CB219358F3 16.7553 1.4% 18 0.9308 0.97 0.00 SELECT tbl iii tbl hhh tbl] eee 
# MISC OxMISC 51.5793 4.2% 44 1.1723 NS 0.0 <11 ITEMS> 
# Query 1: 0.00 QPS, 0.00x concurrency, ID OxBE5D289C750F172A at byte 120071 
# This item is included in the report because it matches --limit. 
# Scores: Apdex = 0.00 [1.0]*, V/M = 0.08 

# Query time sparkline: | | 

# Time range: 2012-09-25 11:01:09 to 2012-10-16 10:14:31 
# : 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 

# 


让 
Dooamwmewh 


Attribute pct total min max avg 95% stddev median 


Count 7 40 
Exec time 25. 309s 7s 10s 8s 9s 802ms 7s 
Lock time 6 4ms 59us 110us 89us 103us 12us 91us 
Rows sent 2 40 1 1 1 出 0 于 
Rows examine 45 281.88M 6.73M 7.29M 7.05M 6.94M 183.33k 6.94M 
Query size 5 7.19k 184 184 184 184 0 184 
String: 
Hosts 
Users db _user 
Query time distribution 
lus 
10us 
100us 
lms 
10ms 
100ms 
荆 S 。 排 提 划 提 提 提 间 提 提 提 提 提 提 打非 林 提 林 提 划 提 间 提 间 提 间 提 提 提 提 提 提 提 提 提 提 提 林 提 林 提 间 提 间 提 提 提 提 提 提 提 提 提 井 提 提 提 打 提 林 提 间 拉 
10s+ # 
Tables 
SHOW TABLE STATUS LIKE 'ccc'\G 
SHOW CREATE TABLE ‘tbl eee‘\G 
SHOW TABLE STATUS LIKE "tbl ddd'\G 
SHOW CREATE TABLE “bbb NG 
SHOW TABLE STATUS LIKE 'ggg'\G 
EXPLAIN /*!50100 PARTITIONS*/ 
select http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/... from http://www.hzcourse.com/resource/readBook?path=/open 


输出 格式 的 解释 具体 如 下 。 


“ Rank: 所 有 查询 日 志 分 析 完毕 后 ， 此 查询 的 排序 。 


“ Query ID: 查询 的 标识 字符 囊 。 可 以 搜索 这 个 字符 串 以 快速 定位 到 慢 查 询 语句 。 


“ Response time: 总 的 响应 时 间 ， 以 及 总 占 比 ， 应 优化 占 比较 高 的 查询 ， 对 于 比例 较 小 的 查询 一 般 可 以 忽略 ， 不 进行 优化 。 


“ Calls: 查询 被 调用 执行 的 次 数 。 


“ R/Call: 每 次 执行 的 平均 响应 时 间 。 


“ Apdx: 应 用 程序 的 性 能 指数 得 分 ， 响 应 时 间 越 长 ， 得 分 越 低 。 


“ V/M: 响应 时 间 的 方差 均值 比 。 可 说 明 样本 的 分 散 程度 ， 这 个 值 越 大 ， 往 往 是 越 值得 考虑 优化 的 对 象 。 


:Item: 查询 的 简单 显示 ， 包 含 了 查询 涉及 的 表 。 


对 于 报告 中 的 如 下 输出 ， 我 们 可 以 利用 偏 移 量 到 慢 查 询 日 志 里 定位 具体 的 sql 语 句 。 


# Query 1: 0.00 QPS, 0.00x concurrency, ID 0xBE5D289C750F172A at byte 120071 


定位 方法 如 下 。 


tail -~c +120071 /path/to/slow.1lo0g. | head 


查询 响应 时 间 的 分 布 ， 这 里 使 用 了 很 形象 的 表示 方式 ， 如 下 所 示 。 


Query _ time distribution 
lus 


# 
# 
# 
# 
# lms 
# 
# 
# 
# 


1S 。 非 间 # 提 扩大 提 提 提 拉 提 持 寺 扩 提 拉 提 持 持 扩 拓 拉 扩 持 寺 扩 拓 拉 提 持 持 折 拓 拉 提 持 持 折 持 拉 提 持 持 折 拓 拉 提 持 霸 扩 提 拉 提 持 扶持 提 拉 提 失 提 持 提 
# 


可 以 看 到 ， 有 许多 查询 响应 时 间 在 1 秒 到 10 秒 之 间 。 


对 于 一 些 TOP SQL, 我 们 可 以 使 用 EXPLAIN 工 具 分 析 执 行 计划 ， 进 行 调 优 。 


对 于 更 新 语句 ， 此 工具 会 帮 你 改写 成 可 以 使 用 EXPLAIN 工 具 的 SELECT 语句 。 


其 他 的 一 些 使 用 方式 示例 如 下 。 


1) 分 析 SHOW PROCESSLIST 的 输出 。 


./pt-query-digest --processlist S=/path/3307/mysql.sock,u=root,p=dxwd\* --interval 5 --run-time 5m 
pt-query-digest --processlist h=hostl1 --print --no-report 


2) 分 析 tcpdump 的 输出 。 


分 析 执 行 SQL 的 频率 ， 一 般 在 高 峰 期 取样 ， 一 定 要 记得 关闭 tcpdump， 因 为 生成 的 文件 可 能 会 很 大 。 


nohup tcpdump -i ethl port 3306 -s 65535 -x -nn -q -tttt > dbxx sql new.log & 


过 一 段 时 间 后 ， 如 1 分 钟 ， 终 止 ttpdump 任 务 。 


然后 使 用 pt-query-digest 进 行 分 析 。 


./Pt-query-digest --type=tcpdump --watch-server 12.12.12.12:3306 dbxx sql new.l0g > report to develper.rtf 


对 生产 环境 的 采样 可 以 采取 如 上 的 方法 ， 比 如 每 分 钟 抓 取 5 秒 的 网 络 包 ， 然 后 把 分 析 结 果 入 库 。 利 用 监控 系统 及 时 发 现 问题 ， 通 知 DBA 或 研发 人 员 线 上 的 性 能 问题 。 


3) 把 分 析 过 的 SQL 记录 到 历史 信息 表 中 ， 就 可 以 知道 分 析 的 SQL 最 后 出 现 的 时 间 ， 如 果 已 经 解决 掉 了 ， 就 不 用 再 优化 了 。 具 体 步骤 如 下 。 


第 一 步 ， 在 存放 优化 信息 的 数据 库 中 创建 一 个 用 户 用 于 存放 信息 。 


GRANT CREATE, SELECT, INSERT, UPDRATE, DELETE ON ptool.* to ptool@'%' IDENTIFIED BY 'ptool'; 


第 二 步 ， 执行 如 下 命令 分 析 慢 查询 日 志 。 


/home/mysql/scripts/pt-query-digest --create-review-table --reviewh=13.13.13.13,P=3305,u=ptool,p=ptool, D=ptool, t=query_review --create-review-history-table --review-histor; 


以 上 命令 如 果 是 第 一 次 运行 ， 则 会 将 信息 存储 到 指定 的 表 中 ， 以 后 再 次 运行 时 ， 如 果 表 中 的 某 条 SQL 的 reviewed_by 列 已 有 设 定 值 ， 那 么 此 工具 就 不 会 显示 标记 了 的 SQL。 如 果 要 显示 所 有 SQL， 那 4 


如 果 有 --report-all 和 query_review 表 ( 表 中 记录 的 SQL 及 你 添加 的 意见 等 信息 ) ， 那 么 生成 的 报告 里 将 带 有 你 检查 过 的 SQL 的 意见 ， 这 点 会 很 有 用 。 


第 三 步 ， 可 以 运行 如 下 命令 查询 Top SQL。 


SELECT * FROM ‘query review history ”WHERE ts max > '2012-09-20 00:00:00'ORDER BY ts_cnt DESC , query time sum DESC LIMIT 3; 


可 以 按照 checksum (数据 表 里 的 是 十 进 制 的 显示 ， 报 告 里 的 是 十 六 进 制 的 显示 方式 ) 去 数据 表 中 查询 对 应 的 SQL， 记 录 自 己 的 优化 意见 ， 命 令 如 下 。 


SELECT * FROM ‘query review WHERE CHECKSUM=0xB76366269B6B4973; 


4) 报告 不 记录 到 历史 信息 表 中 ， 只 记录 简单 的 信息 。 


/home/mysql/scripts/pt-query-digest --create-review-table --review h=13.13.13.13,P=3305,u=ptool,p=ptool,D=test, t=query_review /path/to/1og3307/slowquery.1og 


存放 信息 的 表 需 要 我 们 手动 建立 ， 或 者 添加 选项 --create-review-table。 每 次 重新 运行 以 上 命令 时 ， 都 会 重新 更 新 表 内 的 值 。 比 如 最 早 、 最 近 出 现 的 时 间 。 


5) 使 用 pt-query-digest 分 析 通 用 日 志和 二 进 制 日 志 。 


分 析 通 用 日 志 示例 如 下 。 


Pt-query-digest --type genlog general.1og > /tmp/xxx.1og 


分 析 二 进 制 日 志 示例 如 下 。 


pt-query-digest --type binlog \ 
--group-by fingerprint \ 
-limit "100%" \ 
--order-by "Query time:cnt" \ 
--output report \ 
—-report-format profile \ 
/tmp/xxx.10g 


注意 “tmp/xxclog 日 志 是 文本 形式 的 二 进 制 日 志 。 


(3) pt-stalk 


pt-stalk 的 语法 格式 如 下 。 


Usage: pt-stalk [OPTIONS] 


即使 我 们 有 了 完备 的 性 能 收集 程序 ， 对 于 一 些 突然 的 性 能 波动 也 仍然 会 难以 捕捉 ， 如 果 是 偶发 性 的 性 能 问题 ， 几 天 才 发 生 一 次 ， 那 么 持续 地 对 系统 收集 大 量 信息 不 仪 会 显得 没有 必要 而 且 还 会 耗费 太 


pt-stalk 是 一 个 后 台 程序 ， 默 认 我 们 可 以 通过 文件 /varlog/pt-stalk.log， 查 看 pt-stalk 的 运行 状态 。 如 下 命令 将 检查 pt-stalk 的 日 志 。 


tail -f /var/log/pt-stalk.log 
09 10 24 04 Check results: status (Threads running)=55, matched=yes, Cycles_true=1 
2013 07 09 10 25 03 Check results: status (Threads running)=51, matched=yes, Cycles_true=1 


2013 07 09 10 26 04 Check results: status (Threads running)=44, matched=yes, cycles true=1 


) 
) 
) 
2013 07 09 10 28 04 Check results: status (Threads running)=62, matched=yes, cycles true=1 
) 
) 
) 


2013 07 09 10 28_05 Check results: status (Threads running)=57, matched=yes, cycles true=2 


2013 07 09 10 29 03 Check results: status (Threads running)=46, matched=yes, cycles true=l1 


2013 07 09 10 29 04 Check results: status (Threads running =56, matched=yes, cycles true=2 


pt-stalk 将 收集 的 数据 默认 放 在 目录 /varlib/pt-stalk 下 ， 你 可 以 使 用 参数 --dest 指 定 你 希望 存放 数据 的 目录 。 你 还 可 以 使 用 --notify-by-email 参 数 指定 邮件 报警 联系 人 。 


如 下 示例 中 ，pt-stalk 运 行 在 后 台 (--daemonize) ， 监 视 SHOW GLOBAL STATUS 中 的 Threads_ running 状 态 ， 如 果 Threads _ running 的 值 超 过 了 64， 就 将 状态 信息 记录 到 日 志 里 。pt-stalk 每 秘 f 


pt-stalk --pid /path/to/pt-stalk.pid --dest /path/to/data --disk-pct-free 20 --log /path/to/log/PLt_stalk.1og --collect-tcpdump --function status \ 
--variable Threads running -~-threshold 64 \ 
--iterations 2000 --notify-by-email=garychen\@db110.com --daemonize --user=root --password=your password -S /tmp/mysql.sock 


除了 常用 的 threads_running， 我 们 还 可 以 使 用 SHOW PROCESSLIST 的 输出 值 触发 pt-stalk， 例 如 “--function processlist--variable State--match statistics--threshold 20” 表 示 ，show proce 


< 


性 能 故障 时 刻 ， 我 们 应 该 尽 可 能 地 收集 操作 系统 和 MySQL 的 信息 ， 不 仅 要 收集 正在 执行 的 任务 信息 ， 还 要 收集 正在 等 待 资源 的 信息 ， 因 为 我 们 并 不 能 确定 是 执行 慢 还 是 等 待 了 太 多 资源 。 这 个 工具 


tcpdump -r 2013 04 30 18 20 48-tcpdump -nn -x -q -tttt |pt-query-digest --type tcpdump --watch-server ip:port >report.rtf 


其 他 的 一 些 参数 及 说 明 如 下 。 


“ --trun-time: 触发 收集 后 ， 该 参数 将 指定 收集 多 长 时 间 的 数据 。 默 认 是 30 秒 。 


“ -sleep: 为 防止 一 直 触 发 收集 数据 ， 该 参数 指定 在 某 次 触发 后 ， 必 须 sleep 一 段 时 间 再 继续 观察 并 触发 收集 。 黑 认 是 300 秒 。 


: --cycles: 默认 情况 下 pt-stalk 只 有 连续 5 次 观察 到 状态 值 满足 触发 条 件 时 ， 才 会 触发 收集 。 


有 了 数据 之 后 ， 我 们 就 可 使 用 Pt-sift 对 收集 的 数据 进行 分 析 ， 这 个 工具 将 帮助 我 们 分 析 pt-stalk 收 集 到 的 信息 ， 它 会 自动 下 载 其 他 需要 用 到 的 工具 。 


(4) pt-sift 


pt-sift 的 语法 格式 如 下 。 


pt-sift FILE | PREFIX | DIRECTORY 


如 果 存 在 /var/lib/pt-stalk， 则 默认 读 取 /var/lib/pt-stalk 下 的 所 有 文件 ， 否 则 读 取 当前 目录 下 的 文件 。 


如 果 是 非 默认 目录 ， 则 请 指定 自己 的 工作 目录 ， 命 令 如 下 。 


./Pt-sift /path/to/data 


如 果 是 指定 文件 名 或 前 级 ， 则 它 会 到 默认 目录 里 去 查找 。 例 如 如 下 命令 。 


./Pt-sift /var/1ib/pt-stalk/2012 09 07 00 00 # 在 默认 目录 /var/1ib/pt-stalk 里 查找 
ee 以 2012 09_07_00_00 为 前 组 的 文件 分 析 。 
./pt-sift /var/1ib/pt-stalk/2012_09 07 00_00_13 # 在 默认 目录 里 要 找 
以 2012 09 07 00 00 13 为 前 缓 的 文件 分 析 。 


如 下 是 pt-sift 的 一 个 输出 ， 这 里 仅 显 示 磁 盘 信息 。 


== db1000 at 2012 09 07 00 00 13 DEFAULT (6 of 6) = 
diskstats-— 


#ts device rd_s rd_avkb rd mb srdmrgrdcecnc rdrt Wr_S wr avkb wr mb s wr mrg wF_cnc wr rt busy in prg ios qtime stime 
{29} sdbl 1637.9 16.4 26.3 1% 4.4 2.6 614.4 26.6 16.0 85% 0.9 0.2 63% 0 2252.3 i 
Sdbl 0% 35% 25% 20% 。 ,30% 20% 25 和 20% ,15% 5% : 。。 10% :5% 。。 0515 5 和 

--vmstat—— 

二 b swpd free buff cache si so bi bo in cs us sy id wa st 

9 16 223328 96528 131056 11066620 0 0 109 387 0 0 6 2 或 0 

2 0 223328 96728 123476 10941780 13 0 27233 19077 17420 50895 10 473 14 0 

wa 0% 20% 15% . 25% . 30% 25% 30% . 25% 30% . 25% 10% 5% 0% . . . 5% 0% . . . . . . 5% 

-inmnodb=- 


txns: 66xACTIVE (9s) 
16 queries inside InnoDB, 552 queries in queue 
Main thread: sleeping, pending reads 42, writes 0, flush 0 
Log: lsn = 2234, chkp = 2233, chkp age = 1 
Threads are waiting at: 
40 trx/trxOtrx.c line 213 
trx/trx0trx.c line 1591 
lock/lockO0lock.c line 3592 
trx/trx0trx.c line 722 
trx/trx0trx.c line 940 
srv/srvOsrv.c line 2101 
lock/lock0lock.c line 4835 
btr/btrOsea.c line 947 
Threads are waiting on: 
1 S-lock on RW-latch at 0x2aaab72410b8 created in file btr/btr0sea.c line 139 
--processlist—— 
State 
404 Sending data 
105 statistics 
93 
42 Updating 
10 cleaning up 
Command 
557 Query 
103 Sleep 
1 Binlog Dump 
--stack traces—— 
No stack trace file exists 
-~oprofile-~ 
No opreport file exists 


FF FF on oo 


(5) pt-align 


pt-align 的 语法 格式 如 下 。 


pt-align [FILES] 


可 以 把 其 他 工具 的 输出 格式 化 为 按 列 排 齐 。 


如 aaa.log 包 含 了 如 下 内 容 。 


DATABASE TABLE ROWS 
foo bar 100 
long db _ name table 1 
another long name 500 


可 以 使 用 pt-align 输 出 转换 为 如 下 形式 ， 现 在 文字 是 对 齐 的 。 


pt-align aaa.log 


DATABASE TABLE ROWS 
foo bar 100 
long db name table 1 
another long_name 500 


pt-alian 也 可 正确 地 处 理 空白 字符 (如 空格 、TAB) ， 我 们 可 以 用 它 来 格式 化 和 vmstat、iostat 的 输出 ， 移 除 一 些 不 需要 显示 的 内 容 。 


(6) pt-archiver 


pt-archiver 的 语法 格式 如 下 。 


pt-archiver [OPTIONhttp://www.hzcourse.comV/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OERBPSVText/...] --source DSN --where WHERE 


pt-archiver 可 将 MySQL 数 据 库 中 表 的 记录 归档 到 另外 一 个 表 或 文件 中 ， 也 可 以 直接 进行 记录 的 删除 操作 。 


工作 原理 : pt-archiver 工 具 能 够 智能 地 选择 表 上 的 索引 ， 从 源 表 中 分 批 次 找 出 符合 WHERE 条 件 的 数据 ， 根 据 要 求 把 表 数 据 归 档 成 csv 格 式 或 将 表 数 据 插入 到 归档 表 中 ， 然 后 删除 源 表 中 的 数据 (默认 


工作 过 程 : 从 源 表 SELECT 数 据 ， 插 入 到 新 表 或 归档 到 文件 ， 然 后 删除 源 表 的 数据 。 通 过 这 种 方式 ， 保 证 只 有 归档 成 功 了 才 删 除 源 表 的 数据 。 


这 个 工具 可 用 于 迁移 数据 ， 可 以 减少 对 线 上 OLTP 应 用 的 影响 ， 它 可 以 小 批量 地 把 OLTP 数 据 库 上 的 数据 导入 OLAP 数 据 库 中 。 也 可 以 将 它 写 入 一 个 文件 中 ， 方 便 使 用 OAD DATA INFILE 命 令 导 入 数 : 


全 注意 默认 归档 数据 的 同时 会 删除 生产 库 上 的 数据 ， 因 此 在 生产 环境 中 使 用 时 一 定 要 慎重 。 


如 下 将 介绍 一 些 示例 。 


从 OLTP 数 据 库 归 档 表 tbl 到 OLAP 数 据 库 ， 并 且 归 档 到 一 个 文件 中 。 


pt-archiver --SOUrCe h=oltp server,D=test,t=tbl --dest h=olap_server 
--file '/var/log/archive/%Y-%m-%d-%D.%t" 
--where "1=1" --limit 1000 --commit-each 


删除 子 表 的 孤立 数据 ， 这 部 分 数据 在 父 表 中 不 存在 关联 的 信息 。 


pt-archiver --source h=host,D=db,t=child --purge 
--where 'NOT EXISTS (SELECT * FROM parent WHERE col=child.col)' 


将 test 库 的 userinfo 表 中 id 小 于 10000 的 记录 归档 到 /home/mysql/tmp/userinfo_archive_20131010.log 文 件 中 。 


pt-archiver --source h=host,D=test, t=userinfo --user=root --password=your password --file '/home/mysql/tmp/userinfo archive 20131010.lo0g' --where "id<=10000" --commit-each 


中 的 参数 及 说 明 如 下 。 


“ --limit: 控制 导出 数据 归档 的 粒度 ， 默 认 是 1。 


“ --commit-each: 控制 在 每 批 次 归档 数据 的 时 候 提 交 。 


其 他 的 一 些 选项 及 说 明 如 下 。 


“ --no-delete: 不 删除 源 表 的 数据 。 


--progress: 每 进行 一 次 归档 或 删除 ， 都 显示 所 耗 时 间 的 信息 ， 并 可 以 据 此 预 估 总 时 间 。 


--statistics; 结束 的 时 候 给 出 统计 信息 ， 包 括 开始 的 时 间 点 、 结 束 的 时 间 点 、 查 询 的 行 数 、 归 档 的 行 数 、 删 除 的 行 数 ， 以 及 各 个 阶段 所 消耗 的 总 的 时 间 和 比例 ， 便 于 后 续 以 此 进行 优化 。 


--columns: 需要 导出 哪些 列 ， 列 名 用 过 号 隔 开 。 


--sleeb: 在 前 后 两 次 导出 之 间 sleep (休息 ) 的 时 间 。 避 免 给 服务 器 造成 较 大 的 压力 。 如 果 同 时 设置 了 --commit-each 选 项 ， 那 么 提交 和 刷新 文件 的 操作 应 在 sleep 之 前 发 生 。 


“ --primary-key-only: 只 选择 主键 列 。 对 于 删除 表 数 据 的 场景 ， 该 选项 可 以 避免 取 回 整 行 数据 ， 因 此 也 更 高 效 。 


“ --ignore 或 --replace 选 项 : 使 用 insert ignore 或 replace 语 句 可 代替 insert 语 和 句 。 


(7) pt-config-diff 


pt-config-diff 的 语法 格式 如 下 。 


pt-config-diff [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...] CONFIG CONFIG [CONFIGhttp://www.hzcourse.' 


它 的 功能 是 检查 配置 文件 和 服务 器 变量 之 间 的 差异 。DBA 有 时 变更 了 MySQL 全 局 变量 ， 但 忘记 了 同步 修改 配置 文件 ， 这 样 可 能 会 导致 隐患 ， 因 为 有 时 重启 后 ， 又 使 用 了 旧 的 配置 ， 另 外 ， 这 个 工具 F 


如 下 将 介绍 一 些 示 例 。 


对 比 host1 和 host2 的 变量 ， 可 用 如 下 命令 。 


pt-config-diff h=host1 h=host2 


检查 本 地 实例 和 本 地 配置 文件 ， 可 用 如 下 命令 。 


pt-config-diff u=root,P=3306, S=/tmp/mysql .sock,p=password /etc/my.cnf 


对 比 两 个 配置 文件 ， 可 用 如 下 命令 。 


Pt-config-diff /etc/my-small.cnf /etc/my-large.cnf 


(8) pt-show-grants 


pt-show-grants 的 语法 格式 如 下 。 


pt-show-grants [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/O0EBPS/Text/...] [DSN] 


它 是 导出 权限 的 工具 。 方 便 我 们 在 配置 主 从 、 迁 移 数据 库 的 时 候 比 对 权限 。 有 时 我 们 并 不 想 通过 导出 导入 系统 库 mysql 来 实现 权限 的 配置 ， 使 用 这 个 工具 可 以 生成 更 友好 的 赋 权 语句 ， 我 们 在 目标 库 . 


如 下 将 介绍 一 些 示例 。 


1) 导出 权限 ， 可 用 如 下 命令 。 


pt-show-grants u=root,P=3306,S=/tmp/mysql.sock,p=password 


2) 查看 每 个 用 户 的 权限 生成 revoke 收 回 权限 的 语句 如 下 。 


pt-show-grants --host='localhost' --user='root' 
--password="'password' --revoke 


(9) pt-summary 


pt-summary 的 语法 格式 如 下 。 


Pt-Summary 


这 个 工具 仅 收 集 系统 信息 ， 它 不 是 一 个 用 于 调 优 诊断 的 工具 。 它 可 以 生成 一 个 友好 的 报告 ， 可 展示 系统 的 平台 、CPU、 内 存 、 磁 盘 、 网 络 、 文 件 系 统 、 进 程 等 各 种 信息 ， 让 你 对 基础 环境 有 一 个 很 好 


pt-summary 会 运行 许多 命令 去 收集 系统 的 状态 和 配置 信息 ， 先 将 这 些 信息 保存 到 临时 目录 的 文件 中 去 ， 然 后 运行 一 些 Unix 命 令 对 这 些 结果 做 格式 化 ， 建 议 用 root 用 户 或 有 权限 的 用 户 运行 此 命令 。 


示例 如 下 ， 这 里 只 截取 了 报告 的 部 分 内 容 。 


$ ./pt-summary 


# Percona Toolkit System Summary RepOrt ## 提 ###### 提 ## 提 ## 提 提 提 ## 扩 ## 扩 提 提 提 失 ## 


Date | 2014-10-10 01:55:37 UTC (local TZ: CST +0800) 
Hostname | db1000 
Uptime 182 days, 19:36, 1 user, load average: 1.82, 1.26, 0.90 
Platform | Linux 
Release CentOS release 6.4 (Final) 
Kernel | 2.6.32-358.e16.x86 64 
Architecture | CPU = 64-bit, OS = 64-bit 
Threading | NPTL 2.12 
SELinux | Disabled 
Virtualized | No virtualization detected 


间 ProCceSSOr 磋 #### 提 提 提 提 扩 提 扩 提 拉 提 持 提 持 提 拉 提 扩 提 折 提 幸村 持 拱 持 提 拉 提 持 提 折 持 拉 提 持 提 折 提 拉 提 扩 提 折 提 提 失 


Processors | physical = 2, cores = 12, virtual = 24, hyperthreading = yes 
Speeds | 21x1200.000, 1x1600.000, 2x2101.000 
Models 24xIntel (R) Xeon (R) CPU E5-2620 v2 @ 2.10GHz 
Caches | 24x15360 KB 
提 MemOry 提 提 # 提 提 提 其 提 提 拉 提 扩 提 扩 提 拉 提 持 提 扩 提 拉 提 持 寺 持 失 拉 提 持 持 折 失 拉 提 持 寺 折 失 拉 提 持 提 折 扩 拉 提 提 提 持 提 埋 失 
Total 126.0G 
Free | 1.8G 
Used | physical = 124.2G, swap allocated = 16.0G，swap used = 231.4M, virtual = 124.4G 
Buffers | 215.2M 
Caches L728 
Dirty | 135072 kB 
UsedRSS 120.4G 
Swappiness 60 
DirtyPolicy | 20，10 
DirtyStatus 六 站 


(10) pt-mysql-summary 


pt-mysql-summary 的 语法 格式 如 下 。 


pt-mysql-summary [OPTIONS] [-- MYSQL OPTIONS] 
其 中 ，“--” 后 的 参数 是 传递 给 MySQL 的 。 
这 个 工具 用 于 收集 MySQL 信 息 ， 并 生成 友好 的 报告 给 我 们 阅读 。 这 个 工具 的 主要 功能 是 对 MySQL 的 配置 和 STATUS 信息 进行 汇总 。 它 所 生成 的 报告 可 以 告诉 我 们 ， 当 前 系统 上 存在 哪些 MySQL 实 例 


如 下 例子 将 汇总 本 地 MySQL 服 务 器 的 信息 。 


pt-mysql-summary -- --user=root --password="'password 


其 他 参数 如 下 。 


' --socket=/tmp/mysql .sock 


--sleep: 采样 GLOBAL STATUS 时 ， 间 隔 多 少 秒 。 默 认 是 10 秒 。 


(11) pt-fifo-split 


pt-fifo-split 的 功能 是 模拟 切割 文件 并 通过 管道 传递 给 先入 先 出 队列 (FIFO) 而 不 用 真正 地 切割 文件 。 


当 InnoDB 使 用 load data 的 方式 导入 一 个 巨大 的 文件 时 ， 会 创建 一 个 很 大 的 事务 ， 产 生 很 多 UNDO。 如 果 异 常 回 滚 的 话 ， 会 很 耗 时 ， 可 能 会 远 远 超过 导入 数据 的 时 间 ， 所 以 更 合理 的 方式 是 分 批 导 人 入 


例 1: 如 下 是 一 个 每 次 读 取 一 百 万 行 记录 的 范例 。 


pt-fifo-split --lines 1000000 hugefile.txt 
while [ -~e /tmp/pt-fifo-split ]; do cat /tmp/pt-fifo-split; done 


例 2: 每 次 读 取 一 百 万 行 ， 指 定 fifo 文 件 为 /tmp/my-fifo， 并 使 用 LOAD DATA 命 令 导入 数据 。 


CREATE TABLE load test ( 

coll bigint (20) NOT NULL, 

col2 bigint (20) default NULL, 
key(col1)， 

key(col12) 

) ENGINE=InnoDB DEFAULT CHARSET=utf8 


一 个 窗口 : 


pt-fifo-split infile.txt --fifo /tmp/my-fifo --lines 1000000 


另 一 个 窗口 : 


while [ -~e /tmp/my-fifo ]; do 

mysql -e "set foreign key checks=0; set sql lo0g bin=0; set unique checks=0; load data local infile '/tmp/my-fifo' into 
table load test fields terminated by '\t' lines terminated by '\n' (coll, col2);" 

sleep 1; 
done 


如 果 在 mysql 命 令 提 示 符 下 使 用 LOAD DATA 导 入 数据 将 会 出 现 乱码 ， 请 设置 SET character_set_database= 字 符 集 ,或 者 修改 LOAD DATA 命 令 ， 添 加 character set 语 句 ， 具 体 如 下 。 


mysql -e "set foreign key checks=0; set sql log bin=0; set unique checks=0; load data local infile '/home/mysql/db110.data' into table test.dqb110 character set gbk fields 


(12) pt-duplicate-key-checker 


这 个 工具 的 功能 是 查找 重复 的 索引 和 外 键 。 这 个 工具 会 将 重复 的 索引 和 外 键 都 列 出 来 ， 并 生成 删除 重复 索引 的 语句 。 其 原理 是 检查 SHOW CREATE TABLE 的 输出 ， 查 找 重复 或 元 余 的 信息 。 匈 余 指 和 


示例 如 下 。 


./Pt-duplicate-key-checker --user=root --password=password --socket=/tmp/mysql.sock 


(13) pt-slave-delay 


pt-slave-delay 的 语法 格式 如 下 。 


pt-slave-delay [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPS/VText/...] SLAVE-HOST [MASTER-HOST] 


SLAVE-HOST[MASTER-HOST] 可 以 使 用 DSN 语 法 。 


个 工具 的 用 途 是 设置 从 服务 器 滞后 于 主 服务 器 的 时 间 。MySQL 同 步 在 快速 的 网 络 中 是 毫秒 级 的 ， 如 果 有 误 操 作 ， 从 库 很 快 就 变更 了 ， 对 于 一 些 频 繁 进行 ， 不 是 经 过 严格 测试 的 升级 ， 可 能 会 带 来 F 


际 


MySQL5.6 版 本 已 经 支持 延迟 复制 ， 如 果 是 5.1 版 本 ， 可 以 用 pt-slave-delay 来 设置 延迟 。 


工作 原理 : 通过 启动 和 停止 复制 SQL 线程 来 设置 从 服务 器 落后 于 主 服务 器 的 指定 时 间 。 默 认 是 基于 从 服务 器 上 relay 日 志 的 二 进 制 日 志 的 位 置 来 判断 ， 因 此 不 需要 连接 到 主 服务 器 。 


检查 主 库 传输 过 来 的 日 志 的 位 置信 息 (可 以 用 SHOW SLAVE STATUS 命令 查看 relay 日 志 ) ， 对 比 本 地 已 经 应 用 的 日 志 的 位 置信 息 ， 就 能 知道 延迟 的 时 间 了 。 


如 果 1O 线 程 不 落后 主 服务 器 太 多 的 话 ， 这 个 检查 方式 就 能 工作 得 很 好 。 一 般 是 通过 --delay 和 --delay 加 --interval 来 控制 的 。--interval 间 隔 多 久 检 查 一 次 ， 默 认 设置 是 1 分 钟 检查 一 次 ， 即 每 隔 1 分 钟 ， 


正常 运行 时 ， 如 果 关闭 了 数据 库 ， 那 么 这 个 工具 会 每 隔 15 秒 重 试 一 次 连接 ， 连 续 几 次 之 后 ， 如 果 还 是 不 能 连接 ， 那 么 就 会 异常 退 t 


三 


./pt-slave-delay u=xxxx,S=/tmp/mysql.sock,p=password --1og /path/to/log/delay.10g --daemonize 


以 上 命令 将 以 daemon 模 式 在 后 台 运 行 ， 从 库 将 保持 一 直 灌 后 主 库 1 小 时 。 


“ --delay: 设置 延迟 时 间 ， 默 认为 1 小 时 。 


“ --interval: 设置 检查 点 频率 ， 每 次 检查 间隔 多 久 ， 黑 认 是 1 分 钟 (lm) 。 


. --delay 和 --interval 可 选 的 时 间 允 许 使 用 不 同 的 单位 ， 如 ，s 秒 、m 分 、h 小 时 、d 天 。 


“ -log: 日 志 ， 可 以 检查 日 志 输 出 从 而 了 解 其 原理 和 运行 机 制 。 


pt-slave-delay --delay lm --interval 15s --run-time 10m slavehost 


以 上 命令 将 运行 这 个 工具 10 分 钟 (默认 是 永久 运行 的 ) 。 从 库 保 持 一 直 灌 后 主 库 1 分 钟 ， 每 次 检查 间隔 15 秒 ， 因 此 理论 上 是 延迟 1 分 钟 15 秒 。 


如 果 正 在 运行 这 个 工具 ， 而 且 这 个 工具 已 经 停止 了 复制 SQL 线程 ， 那 么 当 我 们 按 【Ctrl+C】 退 出 这 个 工具 时 ， 它 会 友好 地 退出 ， 意 即 它 会 启动 复制 SQL 线程 ， 并 恢复 现场 。 


连接 MySQL 的 用 户 需要 如 下 权限 : PROCESS、REPLICATION CLIENT、SUPER。 


如 果 启 动 出 错 ， 则 会 报错 如 下 : “Had to create DBD::mysql::dr:imp_data_size unexpectedly”， 这 时 建议 升级 Perl。 


(14) pt-online-schema-change 


pt-online-schema-change 的 语法 格式 如 下 。 


pt-online-schema-change [OPTIONS] DSN 


长 期 以 来 困扰 DBA 的 一 个 问题 是 ，MySQL 在 线 修改 表 结 构 的 能 力 很 弱 ， 对 于 大 表 修 改 表 结 构 将 会 很 耗 时 ， 还 会 影响 到 服务 。 为 了 减少 对 服务 的 影响 ， 可 能 需要 进行 主 从 切换 ， 或 者 选择 特定 的 时 间 这 


这 个 工具 的 功能 是 实现 在 不 锁 表 的 情况 下 修改 表 结 构 。 这 点 对 于 在 线 应 用 很 重要 ， 这 样 在 修改 表 结构 的 同时 ， 数 据 库 还 可 以 继续 提供 读 写 服务 。 


工作 原理 : 创建 一 个 和 原 表 表 结构 一 样 的 新 表 ， 新 表 为 空 数据 ， 对 新 表 进 行 表 结构 修改 ， 然 后 从 原 表 中 复制 数据 到 新 表 ， 当 数据 复制 完成 以 后 就 进行 新 旧 表 的 切换 ， 新 表 被 命名 为 原 表 的 名 字 ， 默 认 


上 述 过 程 中 ， 原 表 复制 数据 到 新 表 是 分 批 分 批复 制 记录 到 新 表 的 ， 也 有 相关 的 参数 可 以 控制 负载 ， 如 --max-load。 


示例 如 下 。 


向 表 sakila.actor 中 添加 一 个 列 。 


pt-online-schema-change --alter "ADD COLUMN cl] INT" D=sakila,t=actor 


更 改 表 的 引擎 为 InnoDB。 


pt-online-schema-change --alter "ENGINE=InnoDB" D=sakila,t=actor 


“ 表 需 要 有 主键 或 唯一 索引 。 


“ 如 果 有 外 键 ， 请 仔细 阅读 官方 文档 。 


“ 需要 确保 原 表 中 之 前 没有 触发 器 。 


“ 利用 此 工具 修改 表 结 构 ， 建 议 先进 行 备份 。 


“ 切换 新 旧 表 的 时 候 ， 会 导致 连接 中 断 ， 需 要 确保 应 用 中 有 重 连 的 机 制 。 


“ 如 果 已 经 有 长 事务 在 操作 这 个 表 ， 那 么 这 个 工具 可 能 会 因为 等 不 到 锁 而 超时 退出 。 


“ 可 能 导致 复制 延 时 。 


“ 推荐 使 用 独立 表 空 间 ， 以 便 释放 空间 。 


(15) pt-kill 


pt-kill 的 语法 格式 如 下 。 


pt-kill [OPTIONS] [DSN] 


kill 掉 满足 某 些 条 件 的 MySQL 查 询 。 


pt-kill 获 取 SHOW PROCESSLIST 的 信息 ， 对 信息 进行 过 滤 ， 打 印 满足 条 件 的 连接 ， 或 者 kill 掉 这 些 连接 。 主 要 的 目的 是 kill 掉 那些 严重 消耗 资源 的 查询 ， 以 保障 服务 的 正常 运行 。pt-kill 也 可 以 检查 运 


参数 及 其 说 明 如 下 。 


--busy-time: 匹配 运行 时 间 超过 busy-time 的 查询 。 这 些 查询 的 SHOW PROCESSLIST 输 出 的 Command 列 为 Query，Time 列 大 于 busy-time 指 定 的 值 ， 才 会 被 匹配 。 


“ --victims: 指定 哪些 匹配 的 查询 会 被 kill 掉 或 被 打印 。 有 如 下 三 个 值 。 


“oldes: 默认 值 ，kil 挤 运行 时 间 最 长 的 查询 。 


“ all: kill 掉 所 有 查询 。 


“ all-butroldest: kill 挤 除了 运行 时 间 最 长 的 查询 之 外 的 所 有 查询 。 有 时 我 们 并 发 了 许多 同样 的 查询 ， 这 时 我 们 只 需要 确保 最 长 运行 时 间 的 那 条 查询 能 够 执行 成 功 即 可 ， 这 种 情况 下 ， 我 们 可 以 使 用 衬 


“ --kill: k 记 匹配 条 件 的 连接 。 


“ --print: 打印 k 训 语句 ， 并 不 会 真正 地 kl 掉 连 接 。 如 果 --kil 和 --print 都 指定 了 ， 那 么 不 仅 要 kil 掉 匹配 的 连接 ， 也 要 打印 被 Kil 掉 的 连接 。 


pt-kill 的 工作 过 程 具体 如 下 。 


pt-kill 命 令 kill 连 接 需 要 4 个 步骤 。 了 解 这 4 个 步 又， 有 助 于 你 理解 这 个 工具 的 使 用 ， 并 能 准确 选择 要 kill 掉 的 连接 。4 个 步骤 具体 如 下 。 


1) 分 组 查询 到 不 同 的 类 别 。--group-by 选 项 可 控制 分 组 。 默 认 情况 下 ， 这 个 选项 没有 值 ， 所 有 查询 都 将 被 分 组 到 一 个 默认 的 类 中 。 


2) 进行 匹配 。 每 个 类 别 都 要 进行 匹配 。 首 先 ， 查 询 会 被 不 同 的 查询 匹配 选项 过 滤 ， 如 --match-user。 然 后 ， 查 询 会 被 不 同 的 类 匹配 选项 过 滤 ， 如 --query-count。 


3) victim (Kill 候选 者 ) 选择 。 如 果 一 些 查询 被 过 滤 出 来 ， 那 么 它 可 以 被 kill 掉 ，--victims 控 制 哪些 查询 会 被 kill 掉 。 一 般 情况 下 ， 你 可 能 会 选择 kill 掉 运行 时 间 最 长 的 查询 ， 或 者 希望 kill 掉 所 有 匹配 型 


4) 对 选择 的 查询 执行 操作 。 如 kill、print。 


如 下 将 介绍 一 些 示 例 。 


kill 运 行 时 间 超 过 60s 的 查询 ， 默 认 情 况 下 kill 最 长 时 间 的 查询 ， 命 令 如 下 。 


pt-kill --busy-time 60 --kill 


仅仅 打印 运行 时 间 超过 60s 的 查询 ， 而 不 是 kill 掉 它们 ， 命 令 如 下 。 


pt-kill --busy-time 60 --print u=root,S=/tmp/mysql.sock,p=password 


每 隔 10s 检 查 一 次 sleep 状 态 的 所 有 连接 ， 并 kill 掉 它们 ， 注 意 参 数 --victims all， 命 令 如 下 。 


pt-kill --match-command Sleep --kill --victims all --interval 10 


打印 所 有 的 登录 连接 ， 命 令 如 下 。 


Pt-kill --match-state login --Print -~-victims al1 


检查 SHOW PROCESSLIST 输 出 的 文件 ， 查 看 哪些 连接 匹配 条 件 ， 命 令 如 下 。 


mysql -e "SHOW PROCESSLIST" > proclist.txt 
Pt-kill --test-matching proclist.txt --busy-time 60 --Print 


kill 掉 运行 时 间 超过 120s 且 运行 时 间 最 长 的 那个 连接 ， 命 令 如 下 。 


./Pt-kil1l --busy-time 120 --match-command Query --match-db db name --match-user user name --kill --print u=root,S=/tmp/mysql.sock,p=password 


--match-db 和 --match-user 限 定 了 数据 库 名 和 用 户 名 ， 以 免 误 操作 。 


kill 掉 运行 时 间 超 过 120s 的 所 有 连接 ， 命 令 如 下 。 


./Pt-kil1l --busy-time 120 --match-command Query --match-db db name --match-user user name --victims all --kill --print u=root,S=/tmp/mysql.sock,p=password 


kil 掉 运行 时 间 超 过 600s 且 正在 创建 临时 表 的 所 有 查询 ， 命 令 如 下 。 


./pt-kill --busy-time 600 --match-command Query --match-db db name --match-user user name --match-state "Copying to tmp table" --victims all --kill 


(16) pt-visual-explain 


这 个 工具 将 格式 化 EXPLAIN 出 来 的 执行 计划 ， 并 按照 Tree 方式 输出 ， 以 方便 阅读 。 


语法 格式 如 下 。 


pt-visual-explain [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...] [FILEhttp://www.hzcourse.com/resource/ 


示例 如 下 。 


Pt-visual-explain <file containing explain output> 
pt-visual-explain -c <file containing query> 
mysql -e "explain select * from mysql.user" | pt-visual-explain 


(17) pt-slave-restart 


新 启动 复制 SQL 线程 。 建 议 不 要 滥用 这 个 工具 ， 仅 在 你 明确 知道 复 


由 


这 个 工具 的 作用 是 检查 MySQL 的 复制 状态 ， 处 理 指定 的 MySQL 复 制 错误 。 比 较 常用 的 使 用 方式 是 ， 忽 略 指定 的 MySQL 错 误 号 ， 


语法 格式 如 下 。 


pt-slave-restart [OPTIONS] [DSN] 


常用 参数 及 其 说 明 如 下 。 


“ --verbose: 可 以 显示 复制 错误 。 


“ --ettof-length: 显示 复制 错误 的 长 度 。 


“ --daemonize: 后 台 模 式 。 


“ --log: 当 是 daemonize 模 式 时 ， 输 出 日 志 到 这 里 。 


“ --error-numbers: 匹配 了 错误 号 才 处 理 ， 错 误 代码 代号 之 间 使 用 过 号 进行 分 隔 ， 对 应 SHOW SLAVE STATUS 输出 里 的 last_errno。 


: --ettotf-text: 匹配 了 错误 文本 才 处 理 ， 对 应 SHOW SLAVE STATUS 输出 里 的 last_etrtror。 


: --run-time: 运行 多 久 才 退 出 ， 上 默认 以 秒 为 单位 ， 其 他 单位 s=seconds、m=minutes、h=hours、d=days。 


-Skip-count: 当 重 新 启动 salve 时 ， 应 跳 过 多 少 条 语句 ， 默 认 值 是 1。 

“ --sleep: 每 次 检查 复制 状态 的 间隔 休眠 时 间 。 

--until-master: 重启 salve， 直 到 从 库 应 用 日 志 到 指定 的 主 库 日 志 位 置 。 
如 下 例子 将 检查 MySQL 服 务 器 的 复制 ， 跳 过 错误 代码 为 1062 的 复制 错误 。 


pt-slave-restart --Verbose --error-numbers=1062 --run-time=60 


U=root, S=/tmp/mysql .sock, p=password 


(18) pt-diskstats 


pt-diskstats 是 一 个 交互 式 的 监控 系统 |/O 的 工 


有 ， 这 个 工具 类 似 于 iostat， 但 显示 的 信息 更 具 可 观察 性 ， 它 也 可 以 分 析 从 其 他 机 器 收集 来 的 数据 。 


其 实现 的 原理 是 读 取 /proc/diskstats 中 的 数据 进行 


展示 。 


语法 格式 如 下 。 


pt-diskstats [OPTIONhttp://www.hzcourse.cor/resource/readBook?path=/openresources/teach_ebook/uncompressed/16038/OEBPSVText/...] [FILES] 


按 q 可 退出 。 按 “?” 显 示 帮 助 。 


常用 参数 及 其 说 明 如 下 。 


“ --interval: 默认 为 1， 设 置 对 /proc/diskstats 采 用 的 间隔 。 
“ --iterations: 运行 多 少 次 ， 上 默认 情况 下 是 永久 运行 。 
示例 如 下 所 示 。 


./pt-diskstats 


--interval=5 
./pt-diskstats 


--interval=2 --iterations 10 


如 图 


16-13 所 示 ， 是 pt-diskstats 的 一 个 输出 。 


rd_avkb rd mb_s rd_ 
4.0 0.0 


16-13 ”pt-diskstats 的 输出 图 例 


图 16-13 中 的 输出 项 及 其 解释 如 下 。 


“1d_s; 每 秒 读 的 次 数 ， 此 数值 是 每 秒 平均 读 次 数 ， 表 征 了 每 秒 实 际 发 送 到 底层 物理 设备 的 读 请 求 的 次 数 。 


“ rd_avkb: 每 次 读 的 平均 大 小 ， 单 位 是 KB ( 千 字 节 ) 。 


rd_mb_s: 每 秒 读 多 少 MB。 


“ rd_mrg: 请 求 在 发 送 给 底层 实际 物理 设备 前 ， 被 [/ 〇 调度 合并 的 百分比 。 


“ rd_cnc: 读 操 作 的 平均 并 发 。 


“1d_rt: 读 操 作 的 平均 响应 时 间 ， 以 毫秒 为 单位 。 


“wr_s、wr_avkb、wr_mb_s、wr_mrg、wr_cnc、wr_rt 对 应 于 rd_* 相 关 的 解释 。 


“ busy: 对 应 iostat 的 %util。 


' in_prg: 正在 进行 请 求 的 数目 。 


“ios_s; 物理 设备 的 平均 吞吐 量 ， 即 IJOPS (每 秒 IO) ， 它 是 rd_s 和 wr_s 的 总 和 。 


“ dtime: 平均 排队 时 间 ， 即 请 求 在 被 发 送 到 物理 设备 前 ， 在 调度 队列 里 等 待 的 时 间 。 


“ stime: 平均 服务 时 间 ， 即 实际 物理 设备 处 理 请 求 的 平均 时 间 。 


注意 块 设备 (block device) 和 物理 设备 (physical device) 的 区 别 。 


: 块 设备 ， 如 /dev/sdal ， 应 用 程序 以 文件 系统 的 方式 访问 它 ， 逻 辑 I/O 发 生 在 此 。 


“ 物理 设备 指 的 是 底层 的 实际 物理 设备 ， 比 如 磁盘 、RAID 卡 ， 物 理 LI/O 发 生 在 此 。 


我 们 所 说 的 队列 指 的 是 与 块 设备 相关 的 队列 ， 队 列 保存 读 写 请 求 直到 这 些 请 求 被 实际 发 送 给 物理 设备 为 止 。 


(19) pt-deadlock-logger 


pt-deadlock-logger 是 一 个 死 锁 检测 工具 ， 


于 InnoDB 引 擎 ， 可 以 提取 和 记录 InnoDB 的 最 近 的 死 锁 信息 。 


码 


语法 格式 如 下 。 


pt-deadlock-logger [OPTIONS] DSN 


工作 原理 : 检测 死 锁 (通过 SHOW ENGINE INNODB STATUS\G;) ， 然 后 直接 打印 死 锁 信息 ， 或 者 指定 --dest 参 数 将 信息 存 入 test 库 下 的 一 个 表 test.deadlocks 中 。 


可 使 用 参数 --run-time 或 --iterations 来 确定 执行 时 间 。 


: --itetations: 和 迭代 检查 多 少 次 ， 如 --iterations 4--interval 30 表 示 检 测 4 次 ， 每 次 间隔 30s。 


trun-time: 运行 此 工具 多 久 时 间 。 这 个 参数 的 优先 级 比 iterations 更 高 ， 如 --trun-time 1m。 


interval: 检测 死 锁 的 频率 ， 默 认 是 30s。 


信息 的 数据 库 表 ， 需 要 预先 创建 表 。 


--dest: 指定 存储 死 锁 人 


如 下 将 介绍 一 些 示例 。 


检测 死 锁 ， 输 出 至 屏幕 ， 检 测 10 次 即 可 ， 


pt-deadlock-logger  u=root,S=/tmp/mysql.sock,p=password --iterations 10 


检测 死 锁 ， 并 把 死 锁 信 息 存 入 test 库 的 表 中 ， 命 令 如 下 。 


pt-deadlock-logger  u=root,S=tmp/mysql.sock,p=password --dest D=test,t=deadlocks 


检测 死 锁 ， 并 把 死 锁 信 息 存 入 另外 一 个 数据 库 中 ， 命 令 如 下 。 


pt-deadlock-logger SOURCE DSN --qest DEST DSN,D=test,t=deadlocks 


运行 4 个 小 时 ， 每 次 间隔 30 秒 ， 在 后 台 运 行 ， 检 查 死 锁 信息 中 ， 命 令 如 下 。 


pt-deadlock-logger SOURCE DSN --dest D=test,t=deadlocks --daemonize --run-time 4h --interval 30s 


的 MySQL 数 据 库 ， 建 议 每 次 间隔 大 于 30s 以 上 。 


注意 频繁 调用 SHOW INNODB STATUS， 也 可 能 对 生产 系统 产生 影响 ， 对 于 负载 较 重 


(20) pt-table-checksum 


E 从 一 致 性 。 


的 目的 是 在 线 检测 MySQL 的 3 


pt-table-checksum 这 个 工 . 


EF 从 由 于 如 下 原因 可 能 会 出 现 不 一 致 。 


数据 库 的 3 


“ 从 库 被 误 写 了 。 
“ 数据 库 主 机 宕 机 导致 MyISAM 表 损坏 。 
数据 库 实例 崩溃 后 ， 我 们 指定 了 不 准确 的 日 志 点 重新 进行 同步 。 


“ 基于 语句 的 复制 。 


一 些 Bug， 特 别 是 一 些 非 核心 的 功能 ， 比 如 存储 过 程 ， 可 能 会 导致 复制 出 错 ， 从 而 导致 主 从 数据 的 不 一 致 。 


居 的 一 致 性 。pt-table-checksum 这 个 时 候 就 可 以 派 上 用 场 了 。 


来 确认 主 从 数 


居 是 一 致 的 。 有 时 我 们 在 做 了 迁移 或 升级 之 后 ， 也 希望 能 有 一 个 工 ! 


我 们 需要 确保 主 从 数 


该 工具 的 工作 原理 具体 如 下 : 


这 个 工具 通过 对 比 主 从 数据 内 容 的 CRC 值 来 判断 数据 的 一 致 性 。 它 可 以 分 批 次 地 校 验 数据 ， 以 减少 对 生产 的 影响 ， 它 把 一 张 表 分 为 若干 个 trunk， 如 果 一 张 表 有 300 万 行 ， 分 为 100 个 trunk， 那 么 每 


运行 此 工具 时 ， 如 果 有 权限 将 会 自动 创建 如 下 的 表格 。 


CREATE TABLE checksums ( 
db 


char (64) NOT NULL, 
ol: char (64) NOT NULL, 
chunk int NOT NULL, 
chunk time float NULL, 
chunk index varchar (200) NULL, 
lower boundary text NULL, 
upper boundary text NULL, 
thi ns char (40) NOT NULL, 
this cnt dn NOT NULL, 
master crc char (40) NULL, 
master cnt int NULL, 
ts timestamp NOT NULL DEFAULT CURRENT TIMESTAMP ON UPDATE CURRENT TIMESTAMP, 


PRIMARY KEY (db, tbl, chunk), 
INDEX ts db tbl (ts, db, tbl) 
) ENGINE=InnoDB; 


pt-table-checksum 在 主 库 上 生成 REPLACE INTO 语 句 ， 然 后 通过 复制 传递 到 从 库 。 类 似 如 下 的 语句 ， 是 基于 语句 级 别 的 复制 ， 将 这 条 语句 复制 到 从 库 ， 从 库 会 执行 这 条 语句 ， 可 以 知道 ， 从 库 上 入 


REPLACE INTO Percona ` .checksums ” (db, tbl, chunk, chunk index, lower boundary, upper boundary, this cnt, this crc) 
SELECT 
'db_name', 
'table name', 

i 

NULL, 

NULL, 

NULL, 

COUNT (*) AS cnt, 

COALESCE (LOWER (CONV (BIT XOR (CAST (CRC32 (CONCAT WS ('#', “id’, "name ，CONCAT (ISNULL (name `)))) RS UNSIGNED)), 10, 16)), 0) RS crc 
FROM “Percona ` .garychen 


以 上 的 crc 列 ， 简 单 说 明 一 下 ， 它 会 把 一 个 trunk 里 面 的 每 一 行 数据 的 所 有 字段 都 拼 成 一 个 String， 然 后 对 String 取 32 位 校 验 码 ， 然 后 对 这 个 trunk 内 所 有 计算 好 的 校 验 码 进行 异 或 操作 ， 从 十 进 制 转 持 


在 主 库 中 UPDATE 更 新 master_src 的 值 。 运 行 命令 类 似 如 下 的 语句 。 


UPDATE “Percona ` .checksums 
SET chunk time = '0.000563', master crc = '31012777', master cnt = '4' 
WHERE db = 'db name' AND tbl = 'table name' AND chunk = "1 


这 个 操作 ， 同 样 会 被 复制 到 从 库 。 


由 上 述 示例 可 以 得 知 ， 通 过 检测 从 库 上 的 this_src 和 master_src 列 的 值 可 以 判断 复制 是 否 一 致 。 命 令 类 似 如 下 的 语句 。 


SELECT db, tbl, SUM(this cnt) AS total rows, COUNT(*) RS chunks 
FROM percona.checksums 

WHERE ( 

master cnt <> this cnt 

OR master crc <> this crc 

OR ISNULL (master crc) <> ISNULL (this crc)) 

GROUP BY db, tbl? 


可 以 使 用 pt-table-checksum--explain 查 看 工具 是 如 何 检查 表 的 。 


它 可 以 检测 到 从 库 ， 并 自动 连接 它们 。 自 动 连接 从 库 有 多 种 办 法 ， 可 以 使 用 --recursion-method 来 指定 ， 默 认 是 PROCESSLIST， 即 通过 检查 SHOW PROCESSLIST 里 的 输出 来 判断 从 库 ， 然 后 去 连 j 


它 仅 针 对 一 台 服 务 器 执行 checksum 操 作 ， 一 次 只 针对 一 个 表 进 行 checksum 操 作 。 如 果 显 示 有 很 多 表 ， 那 么 --replicate-check-only 可 仅 显 示 存 在 差异 的 表 。 


如 果 被 完全 终止 了 ， 可 以 使 用 --resume 选 项 继续 执行 ， 你 也 可 以 使 用 Ctrl 加 C 退 出 。 


chunk 的 大 小 也 是 可 以 动态 调整 的 ， 调 整 的 依据 是 checksum 操 作 在 一 定时 间 内 可 以 完成 。 


示例 如 下 。 


./Pt-table-checksum h=ip,P=3306,u=test gary,p=password 


--databases=db_name --tables=tbl name 
--recursion-method=processlist 


他 选项 及 说 明 具 体 如 下 。 


“ --max-lag: 最 大 延迟 ， 超 过 这 个 就 等 待 。 


': --max-load: 最 大 负载 ， 超 过 这 个 就 等 待 。 


使 


pt 


如 


如 


( 


语 


从 数据 库 的 schema 应 该 一 致 ， 否 则 复制 可 能 会 失败 。 


用 的 时 候 应 选择 在 业务 低 峰 期 运行 ， 因 为 运行 的 时 候 会 造成 表 的 部 分 记录 被 锁定 。 虽 然 操 作 是 对 trunk 和 逐个 进行 的 ， 但 是 它 会 对 每 个 trunk 做 SELECT FOR UPDATE， 这 样 做 3 


要 是 担心 做 checksu 


-table-checksum 提 供 了 多 种 手段 以 确保 尽量 不 会 对 生产 环境 造成 影响 ， 你 可 以 使 用 --max-load 来 指定 最 大 负载 ， 如 果 达 到 最 大 负载 ， 就 暂停 运行 。 你 也 可 以 设置 超时 时 间 innodb_ lock_wait tir 


果 发 现 有 不 一 致 的 数据 ， 则 可 以 使 用 pt-table-sync 工 具 来 进行 修复 。 


果 表 中 没有 3 


21) pt-table-sync 


个 工具 可 以 高 效 地 进行 数据 表 的 同步 。 


法 格式 如 下 。 


E 键 或 唯一 索引 ， 或 者 没有 合适 的 索引 ， 或 者 处 于 其 他 不 适合 检查 的 情况 下 ， 那 么 工 


pt-table-sync [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/OEBPS/Text/...] DSN [DSNhttp://www.hzcourse.com/resource/r 


工作 原理 具体 如 下 。 


对 


常 


比 主 从 库 之 间 的 差异 ， 在 主 库 上 执行 数据 的 更 改 (使 用 REPLACE INTO 语 句 或 DELETE 语 句 ) ， 


个 工具 会 更 改 数据 ， 所 以 如 果 需 要 使 用 这 个 数据 在 不 同 的 MySQL 库 之 间 进 行 数据 同步 ， 那 么 建议 先进 行 数据 备份 。3 


用 参数 及 其 介绍 具体 如 下 。 


* --execute: 执行 变更 。 


同步 到 从 库 上 。 对 于 3 


E 库 上 存在 ， 从 库 上 不 存在 的 数据 ， 执 行 REPLACEINTO 语 句 。 对 了 


从 库 上 在 


从 库 实 例 可 能 会 因为 一 些 误 操作 或 软 硬 件 异常 而 导致 数据 出 现 不 一 致 的 问题 ， 


--print: 仅 打 印 变 更 语句 ， 可 以 把 --execute 参 数 掺 成 --print 先 查看 会 变更 什么 数据 。 


--teplicate: 指定 一 个 同步 列表 ，--replicate 指 定 的 表 里 存储 了 需要 同步 的 表 的 信息 。 这 个 表 实际 上 就 是 pt-table-checksum 工 具 生 成 的 校 验 信息 ， 我 们 可 以 先 利用 pt-table-checksum 工 具 进 行 校 验 ， 然 后 禾 


--Sync-to-mastet: 指定 从 库 ， 同 步 到 主 库 。 


--ignore-databases: 忽略 同步 的 数据 库 列 表 ， 以 去 号 分 隔 。 


--ignore-engines: 忽略 同步 的 引擎 列表 ， 以 过 号 分 隔 。 


--ignore-tables: 忽略 同步 的 表 ， 以 过 号 分 隔 。 


如 下 将 介绍 一 些 示例 ， 我 们 假设 host1 是 主 库 ，host2 是 从 库 ， 端 口 为 3306。 


1) 先 使 用 pt-table-checksum 进 行 校 验 ， 默 认 将 校 验 结果 存储 在 percona.checksums 中 。 


./Pt-table-checksum --user=user --password=password --host=host1 --port=port --databases=db name --tables=tbl name --recursion-method=processlist 


2) 根据 校 验 结果 ， 修 复 从 库 中 的 数据 。 


./Pt-table-sync --execute --replicate percona.checksums --sync-to-master h=host2,P=3306,u=user,p=password 


3) 修复 后 ， 使 用 第 步骤 1) 的 语句 重新 校 验 一 次 。 


注意 : 使 用 pt-table-sync 的 风险 比较 大 ， 对 于 生产 环境 ， 建 议 使 用 pt-table-checksum 进 行 校 验 ， 如 果 有 数据 不 一 致 的 问题 ， 则 考虑 重建 从 库 ; 如 果 要 使 用 pt-table-sync 进 行 数据 同步 ， 则 建议 仔 


(22) pt-query-advisor 


这 个 工具 可 以 利用 一 些 规则 来 分 析 慢 查询 日 志 或 generel 日 志 。 以 了 解 生产 环境 中 SQL 的 撰写 是 否 规范 。 如 下 将 介绍 一 些 示 例 。 


分 析 慢 查询 日 志 ， 并 给 予 建议 。 


pt-query-advisor /path/to/slow-query.1og 


输出 的 报告 中 包含 了 3 种 级 别 的 提示 ，note 级 别 、warn 级 别 和 critical 级 别 ， 本 书 将 摘录 一 些 提示 ， 具 体 如 下 。 


note 级 别 : 应 该 使 用 “table as 别名 ”的 方式 ， 而 不 是 “table 别 名 ”的 方式 ， 因 为 使 用 as 可 读 性 更 好 。 


别名 不 要 和 原来 的 表 名 一 样 。 


INSERT INTO 语 句 应 该 显 式 地 指定 列 名 ， 如 INSERT INTO tbl(col1,col2)VALUEShttp://www.hzcourse.cormyresource/readBook?path=/openresources/teach_ebook/uncompressed/16038/ 


日 期 /时 间 值 需要 用 引号 括 起 来 。 如 WHERE col<'2012-02-12， 


应 该 使 用 “<>” 而 不 是 “!=”。 因 为 “!=” 不 标准 。 


warn 级 别 : 参数 尽量 不 使 用 前 导 通 配 符 ， 比 如 LIKE'%name' 这 样 的 方式 是 用 不 到 索引 的 ，MySQL 的 索引 一 般 是 前 缀 索引 。 


SELECT 语句 如 果 没 有 WHERE 条 件 ， 则 有 可 能 会 导致 检索 太 多 的 记录 。 


多 表 查 询 GROUP BY 或 ORDER BY 子 名 的 列 不 在 同一 个 表 中 会 导致 使 用 临时 表 (temporary table) 和 文件 排序 (filesort) 。 


不 要 使 用 SQL CALC_FOUND_ROWS， 这 种 方式 检索 数据 效率 很 低 ， 会 需要 检索 所 有 的 记录 以 确定 记录 的 总 数 。 


critical 级 别 : 不 要 混合 ANSI 标 准 的 JOIN 方式 和 MySQ 中 的 JOIN 语法 。 否 则 ， 容 易 导 致 用 户 混淆 。 


可 以 使 用 ON 或 USING 语 句 来 指定 一 个 简单 的 连接 。 被 连接 的 列 在 ON 或 USING 子 句 中 列 出 ， 而 WHERE 子 句 中 可 以 列 出 附加 的 选择 条 件 。 


(23) pt-mext 


该 工具 用 于 查看 SHOW GLOBAL STATUS 信息 。 可 以 增 量 (-r 选 项 ) 显示 。 逐 列 进行 显示 ， 如 下 示例 将 每 隔 10 秒 执行 一 次 SHOW GLOBAL STATUS， 执 行 4 次 ， 并 将 结果 合并 到 一 起 查看 。 


pt-mext -r -- mysqladmin ext -uroot -pl11111 -i 10 -c 4 


如 图 16-14 所 示 的 是 运行 Pt-mext 命 令 的 一 个 输出 。 在 此 笔者 对 输出 信息 进行 了 过 滤 ， 仅 显示 特定 的 操作 统计 信息 。 


1@db80 ~]$ pt-mext -T -- mysqladnin ext -uroot -pllllll -i 10 -c 4 |egrep“Con_select|Con_insert|Con_delete|Con_updatelQcache_h 


0 0 
Mm_delete_ multi 0 0 0 


108557 104124 

ert_select 0 0 0 

elect 101357990 0 0 

_update 10 0 0 

Com_update_multi 0 0 
Qcache_hits a : 0 


16-14 ”pt-mext 输 出 结果 图 


(24) pt-upgrade 


该 工具 用 于 在 多 个 MySQL 实 例 上 执行 查询 ， 并 比较 查询 结果 和 耗 时 。 这 个 工具 在 进行 数据 库 版 本 升级 的 时 候 会 很 有 用 。 


pt-upgrade 的 语法 格式 如 下 。 


pt-upgrade [OPTIONhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16038/0EBPS/Text/...] DSN [DSNhttp://www.hzcourse.com/resource/readl 


如 下 将 介绍 一 些 示 例 。 


查看 慢 查 询 在 不 同 主机 实例 上 的 运行 效果 ， 命 令 如 下 。 


pt-upgrade h=host1 h=host2 slow.log 


比较 host2 和 host1 的 结果 文件 ， 命 令 如 下 。 


pt-upgrade h=host1 --save-results host1 results/ slow.1og 
pt-upgrade host1_results1/ h=host2 


(25) pt-find 


pt-find 命 令 可 以 查找 MySQL 中 的 表 ， 并 执行 一 些 操作 ， 这 个 工具 类 似 于 我 们 操作 系统 下 的 find 命 令 。 默 认 的 操作 是 打印 数据 库 名 和 表 名 。 


如 下 将 举例 一 些 示例 。 


打印 一 天 以 前 创建 的 表 ， 注 意 ， 仅 对 MylISAM 有 效 ， 命 令 如 下 。 


pt-find --ctime +1 --engine MyISAM 


查找 InnoDB 引 擎 的 表 ， 并 转化 为 MyISAM 表 ， 命 令 如 下 。 


pt-find --engine InnoDB --exec "ALTER TABLE %D.%N ENGINE=MyISAM" 


查找 test 库 和 junk 库 中 的 空 表 ， 并 删除 之 ， 命 令 如 下 。 


pt-find --empty junk test --exec-plus "DROP TABIE %s" 


查找 大 于 5GB 的 表 ， 命 令 如 下 。 


pt-find --tablesize +5G 


对 所 有 表 都 按照 数据 占用 空间 大 小 (数据 + 索引 ) 进行 排序 ， 命 令 如 下 。 


pt-find --Printf "%T\t%D.%N\n" | sort -rn 


把 数据 表 的 size 信 息 存放 到 表 中 ， 命 令 如 下 。 


pt-find -~-noquote -~-exec "INSERT INTO sysdata.tblsize(db, tbl, size) VALUES('%D', '$%N', %T)" 


16.3” 调 优 方 法 论 


16.3.1 性 能 调 优 的 误区 


许多 人 犯 的 错误 可 能 仅仅 只 是 因为 自己 熟悉 一 些 工具 、 知 道 一 些 命令 ， 就 到 处 使 用 它 ， 而 不 管 是 什么 场合 。 特 别 是 初级 工程 师 ， 因 为 了 解 的 命令 和 方法 有 限 ， 他 们 更 容易 这 样 做 。 


还 有 些 人 喜欢 去 网 上 寻找 答案 ， 但 是 一 些 问题 的 解决 方案 ， 特 别 是 涉及 一 些 商业 厂商 的 软 硬 件 ， 网 上 并 没有 标准 的 答案 ， 只 有 原矿 工程 师 才 掌握 处 理 这 些 问题 的 方案 ， 而 且 ， 如 果 是 紧急 处 理性 能 问 


有 些 人 不 清楚 性 能 问题 到 底 出 现在 哪 ， 会 尝试 修改 不 同 的 参数 配置 ， 然 后 查看 效果 怎么 样 ， 这 样 的 调 优 不 但 耗 时 ， 还 可 能 给 生产 系统 带 来 隐患 甚至 导致 生产 环境 异常 。 


有 些 人 往往 把 问题 归咎 于 其 他 环节 、 


I 
[3 
加 
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队 。 比 如 ， 怀 疑 是 网 络 的 问题 ， 怀 疑 是 数据 库 的 问题 ， 如 果 你 怀疑 是 其 


团队 、 其 他 环节 出 了 问题 ， 那 么 你 应 该 说 明 下 自己 是 如 何 分 析 、 如 何 查找 和 为 什 


所 有 以 上 出 现 的 问题 ， 都 是 因为 没有 一 定 的 规则 指引 ， 没 有 按照 一 定 的 方法 论 来 处 理 问题 。 方 法 论 包 括 了 一 些 定量 分 析 和 确认 疑问 的 方法 ， 标 识 了 哪些 是 最 重要 的 性 能 问题 。 它 可 以 帮助 性 能 分 析 者 


16.3.2 ” 调 优 指引 


当 发 生性 能 问题 时 ， 我 们 需要 知道 从 哪里 开始 我 们 的 分 析 ， 应 该 收集 什么 样 的 数据 ， 我 们 应 该 如 何 分 析 这 些 数据 。 如 下 是 一 些 调 优 指引 。 


1) 首先 ， 我 们 需要 定义 调 优 的 目标 。 


在 调 优 之 前 ， 我 们 需要 设 定 我 们 的 目标 ， 比 如 : 资源 使 用 率 、 延 时 、 吞 吐 率 。 要 依据 你 的 业务 、 服 务 协议 等 级 和 服务 标准 量化 你 的 性 能 调 优 所 能 达到 的 效果 ， 例 如 : 平均 响应 时 间 小 于 5ms，99% 的 


2) 我 们 需要 了 解 我 们 的 数据 流 ， 了 解 我 们 的 物理 部 署 ， 这 样 我 们 才能 有 意识 地 针对 整个 系统 进行 调 优 。 


3) 影响 服务 性 能 的 主要 因素 从 大 到 小 大 致 是 : 架构 和 设计 、 应 用 程序 、 硬 件 、 数 据 库 和 操作 系统 。 高 性 能 的 服务 是 设计 出 来 的 ， 而 不 是 调 优 出 来 的 ， 并 且 ， 如 果 你 的 架构 设计 良好 ， 那 么 不 需要 怎 


4) 大 规模 、 高 性 能 的 服务 往往 不 是 一 跌 而 就 的 ， 需 要 在 后 期 不 断 持续 地 迁 代 优化 ， 甚 至 调整 架构 。 一 个 优秀 的 架构 师 有 一 个 很 重要 的 素质 ， 那 就 是 : 在 合适 的 时 间 以 合理 的 成 本 介入 进行 调整 优化 。 


5) 性 能 调 优 有 两 个 方向 ， 一 个 是 让 工作 做 得 更 快 ， 一 个 是 让 工作 做 得 更 少 。 针 对 数据 库 来 说 ， 就 是 要 尽量 减少 对 数据 库 的 访问 ， 使 用 最 快 的 路 径 访问 数据 。 


i 


6) DBA 需 要 从 系统 资源 使 用 和 应 用 访问 的 双重 角度 去 考虑 问题 ， 应 用 程序 开发 人 员 往 往 更 关注 程序 的 负载 情况 ， 而 系统 管理 员 往 往 更 关注 资源 的 使 用 情况 。 作 为 一 名 DBA， 需 要 能 够 同时 从 这 两 个 


从 资源 使 用 的 角度 进行 分 析 ， 我 们 常用 的 一 些 指标 有 IOPS、 知 吐 率 、 利 用 率 和 饱和 度 。 


从 工作 负载 的 角度 进行 分 析 ， 我 们 常用 的 指标 有 吞吐 率 和 延 时 。 对 工作 负载 的 分 析 要 求 我 们 熟悉 工作 负载 的 属性 ， 具 体 负 载 做 了 什么 ?比如 对 于 数据 库 访问 ， 包 括 客 户 端 主机 /IP、 数 据 库 名 、 数 据 寻 


7) 性 能 调 优 是 一 种 取舍 ， 我 们 需要 意识 到 性 能 调整 是 有 权衡 取舍 的 ， 性 能 好 、 成 本 低 、 快 速 交 付 这 三 个 目标 往往 不 可 兼 得 。 许 多 公司 的 项 目 选 择 了 成 本 低 和 快速 交付 ， 而 把 性 能 问题 留待 以 后 去 解 ; 


在 物理 组 件 之 间 也 有 权衡 取舍 ， 比 如 有 些 应 用 CPU 很 空闲 ， 内 存 很 紧张 ， 那 么 可 以 使 用 CPU 压缩 数据 以 节省 内 存 的 使 用 。 


参数 的 调整 也 有 权衡 取舍 ， 比 如 文件 系统 的 块 大 小 ， 较 小 的 块 ， 接 近 应 用 的 访问 |/O 大 / 


一 


更 适合 随机 访问 的 应 用 负载 。 而 较 大 的 块 ， 更 适合 一 些 大 的 操作 ， 比 如 备份 。 比 如 ， 小 的 网 络 缓 冲 区 可 以 人 


8) 性 能 调 优越 靠近 任务 处 理 的 环节 就 越 有 效 ， 因 为 它们 更 了 解数 据 ， 对 于 施加 负荷 的 应 用 程序 而 言 ， 针 对 应 用 程序 自身 的 调 优 最 有 效 。 对 于 一 个 普通 的 基于 数据 库 的 网 站 服务 而 言 ， 我 们 的 软件 栈 和 


9) 参数 的 调整 可 能 会 马上 见效 ， 但 很 可 能 随 着 软 硬 件 环境 的 变更 ， 又 变 得 不 再 适合 ， 甚 至 还 会 对 性 能 起 反作用 。 所 以 ， 如 果 不 是 必须 要 调整 ， 那 么 就 不 要 去 调整 。 更 少 的 参数 配置 ， 使 用 默认 的 参 


网 上 有 许多 调 优 的 建议 和 分 享 。 这 些 分 享 往往 都 是 基于 特定 的 环境 的 ， 或 者 是 基于 特定 的 场合 ， 而 在 之 后 ， 他 们 又 有 了 调整 ， 却 往往 没有 继续 分 享 ， 一 些 调 优 的 建议 ， 特 别 是 互联 网 上 的 文章 ， 以 认 


10) 我 们 不 仅 要 标识 出 哪些 问题 可 能 是 需要 调 优 的 ， 也 要 衡量 修复 这 些 问题 所 带 来 的 收益 。 如 果 修 复 一 个 问题 ， 对 于 整体 系统 的 贡献 不 大 ， 那 么 投入 时 间 和 精力 去 调 优 可 能 不 是 一 个 好 的 主意 。 


16.3.3 ” 调 优 步骤 


调 优 的 具体 步骤 如 下 。 


1) 收集 信息 。 


如 果 你 是 一 个 支持 工程 师 ， 或 者 是 一 个 独立 的 数据 库 咨询 顾问 ， 那 么 当 有 性 能 问题 发 生 时 ， 你 需要 和 客户 确认 一 些 信息 。 


如 下 是 要 问 的 一 些 基本 问题 ， 通 过 这 些 问题 ， 你 往往 可 以 很 快 就 能 确定 原因 ， 或 者 确定 一 个 合适 的 解决 方案 ， 或 者 确定 下 一 步 应 该 怎么 做 。 


:你 为 什么 认为 有 


能 问题 ， 你 是 如 何 判断 的 ? 


“ 系统 之 前 是 好 的 吗 ? 最 近 有 做 过 什么 软 硬 件 的 变更 吗 ? 业务 流量 、 负 载 有 变化 吗 ? 


“ 问题 可 以 使 用 延明 


“ 影响 到 了 其 他 的 月 


“ 软 硬 件 的 环境 是 人 


或 运行 时 间 来 描述 吗 ? 


户 和 程序 吗 ? 


么 样 的 ? 版 本 /配置 /参数 是 什么 样 的 ? 


如 果 我 们 的 线 上 有 性 能 问题 ， 那 么 我 们 需要 收集 负载 信息 和 资源 使 用 情况 。 


我 们 还 可 能 需要 检查 配置 ， 比 如 出 现 网 络 问题 ， 比 如 有 时 网 卡 工作 在 100MB 的 模式 下 而 不 是 1000MB 的 模式 ， 比 如 RAID 阵 列 坏 了 一 块 盘 ， 比 如 操作 系统 、 应 用 程序 、 


2) 分 析 问 题 。 


国 


在 问 完 这 些 问题 之 后 ， 我 们 大 致 有 了 诊断 的 思路 。 这 时 我 们 可 以 推测 有 可 能 是 哪些 因素 导致 了 性 能 问题 。 


3) 验证 性 能 问题 的 原因 。 


件 的 版 本 有 变化 ， 比 如 因 


为 


之 后 我 们 再 进行 一 些 验证 测试 工作 来 验证 我 们 的 想法 。 比 如 MySQL 的 InnoDB buffer pool 对 性 能 的 影响 很 大 ， 我 们 假定 是 InnoDB buffer pool 不 够 才 导致 的 性 能 恶化 ， 我 们 可 以 部 署 一 个 新 的 环境 


通过 不 断 地 猜测 和 验证 ， 我 们 可 以 逐步 缩小 范围 ， 定 位 到 真正 的 导致 性 能 恶化 的 因素 上 。 


4) 进行 调整 。 


5) 观察 性 能 调整 的 效果 。 


16.3.4 调 优 的 方法 


(1) USE 方 法 


有 一 种 调 优 的 方法 叫 USE 方 法 。 其 基本 思路 是 ， 对 于 每 项 资源 ， 检 查 其 错误 、 利 用 率 和 饱和 度 。 


在 资源 利用 率 很 高 或 趋向 饱和 时 ， 如 果 出 现 瓶 驱 ， 性 能 降低 ， 那 么 这 种 情况 下 ，USE 的 分 析 方 法 将 会 最 有 效 。 


产生 原因 。 错 误 很 可 能 会 导致 性 能 降低 ， 如 果 错 误 是 不 可 以 被 重 现 的 ， 那 么 你 可 能 不 能 及 时 发 现 错误 。 


我 们 首先 检查 错误 ， 对 于 错误 ， 需 要 仔细 就 调查 


然后 我 们 检查 资源 利用 率 ， 检 查 饱 和 度 ， 在 检查 资源 利用 率 和 饱和 度 的 过 程 中 ， 我 们 逐步 缩小 范围 ， 最 终 定位 到 问题 所 在 。 


(2) 延迟 分 析 法 


找 出 响应 最 慢 的 环节 ， 这 个 环节 将 被 再 次 细 分 ， 再 找 出 最 影响 时 间 的 因素 ， 并 不 断 循环 ， 直 到 最 终 解决 问题 。 


Oi 本 章 介绍 了 一 些 性 能 调 优 的 基础 概念 、 理 论 和 常用 的 诊断 工具 。 综 合 知 识 、 工 具 、 经 验 、 意 识 ， 我 们 才 可 能 成 为 一 名 性 能 调 优 专 家 。 其 中 一 些 工 具 和 命令 的 解释 是 摘录 自 网 上 的 信息 ， 笔 = 


第 17 章 ”应 用 程序 调 优 


本 章 将 主要 讲述 应 用 程序 调 优 的 一 些 方法 和 步骤 ， 应 用 程序 调 优 的 领域 很 广 ， 本 章 主要 关注 的 是 涉及 数据 库 方 面 的 调 优 。 


在 进行 性 能 分 析 之 前 ， 我 们 先 要 熟悉 应 用 的 角色 ， 它 是 什么 版 本 的 ， 做 什么 的 ， 它 是 什么 类 型 的 应 用 ， 它 是 如 何 配置 的 ， 是 否 有 相关 的 官方 和 社区 支持 ， 比 如 Bug 库 、 邮 件 组 。 我 们 了 解 的 信息 越 全 


17.1 程序 访问 调 优 


如 果 能 够 满足 以 下 几 个 方面 的 要 求 ， 那 么 程序 的 访问 调 优 会 更 顺利 。 


17.1.1 好 的 架构 和 程序 逻辑 


最 好 是 能 够 通过 架构 层面 尽量 避免 性 能 问题 的 发 生 。 如 果 你 的 物理 部 署 无 法 满足 预期 的 负载 要 求 ， 或 者 应 用 软件 的 功能 架构 无 法 充分 利用 计算 资源 ， 那 么 ， 你 无 论 怎么 “ 调 优 ”都 无 法 带 来 理想 的 性 


生产 实践 中 的 性 能 问题 更 多 地 归根 于 系统 的 架构 设计 和 应 用 程序 的 程序 逻辑 。 运 行 较 长 时 间 之 后 ，MySQL 经 过 了 高 度 优化 ， 性 能 往往 已 经 很 好 了 ， 由 于 数据 库 的 查询 只 占据 了 总 体 响应 时 间 的 很 小 - 


从 数据 流 、 数 据 交 互 的 角度 去 理解 和 分 析 问 题 ， 往 往 能 够 发 现 架构 中 存在 的 问题 。 


四 | 


一 个 应 用 的 功能 模块 图 对 于 我 们 的 调 优 将 会 很 有 帮助 ， 通 过 查看 应 用 的 模块 图 和 物理 部 署 


1. 缓 存 


互联 网 应 用 往往 有 多 级 缓存 ， 比 如 用 户 访问 网 站 ， 可 能 要 经 过 浏览 器 缓存 、 应 用 程序 缓存 、Web 服 务 器 缓存 、Memcached 之 类 的 缓存 产品 、 数 据 库 缓存 等 。 缓 存 可 以 加 速 我 们 从 更 慢 的 存储 设备 中 


缓存 的 存在 应 该 限定 为 保护 不 容易 水 平 扩展 的 资源 ， 如 数据 库 的 大 量 读 取 ， 或 者 提升 用 户 体验 ， 或 者 在 靠近 用 户 的 城市 部 署 图 片 缓存 节点 。 如 果 资 源 易 被 水 平 扩展 ， 那 么 添加 缓存 层 可 能 不 是 一 个 好 


缓存 的 设计 目标 是 ， 用 更 快 的 存储 介质 存储 更 慢 的 存储 介质 上 的 数据 ， 以 加 速 响应 。 比 如 把 磁盘 的 数据 存放 在 内 存 中 。 我 们 这 里 仅仅 关注 被 放置 在 数据 库 前 端的 缓存 产品 ， 比 如 Redis、Memcache' 


网 


MySQL 有 InnoDB 缓 冲 区 ， 但 是 其 更 多 地 只 是 属于 数据 库 的 一 个 组 件 ， 它 的 功能 是 把 热点 数据 缓存 在 内 存 中 ， 如 果 要 访问 数据 ， 则 存在 解析 开销 ， 也 可 能 需要 从 磁盘 中 去 获取 数据 ， 因 为 缓存 中 的 内 


而 对 于 Memcached 之 类 的 记录 级 的 缓存 来 说 ， 因 为 应 用 程序 有 目的 性 地 缓存 了 自己 所 需要 的 数据 ， 所 示 其 效率 一 般 来 说 是 要 高 于 基于 页 的 InnoDB 缓 存 。 而 且 分 布 式 的 Memcached 集 群 可 以 配置 所 


现实 中 ， 由 于 Memcached 的 引入 可 能 会 导致 开发 的 复杂 度 上 升 ， 所 以 在 项 目 初期 ， 往 往 并 没有 引入 Memcached 等 缓存 产品 ， 一 般 的 单机 MySQL 实 例 也 可 以 打 得 住所 有 流量 ， 当 项 目 规模 扩大 之 后 


缓存 的 指标 有 缓存 命中 率 、 缓 存 失效 速率 等 。 


缓存 命中 率 指 命中 次 数 与 总 的 访问 次 数 的 比值 。 


缓存 失效 速率 指 每 秒 的 缓存 未 命中 次 数 。 


缓存 命中 率 和 性 能 的 关系 如 图 17-1 所 示 。 


0 命中 率 100% 


赔 17-1 ”缓存 命中 率 和 性 能 的 关系 


由 图 17-1 可 以 得 知 缓存 命中 率 和 性 能 的 关系 ，98%~ 99% 命 中 率 的 性 能 提升 远 远大 于 10%~ 11% 命 中 率 的 性 能 提升 。 这 种 非 线性 的 


区 


形 ， 主 要 是 因为 缓存 命中 (cache hit) 和 缓存 未 命中 (cache m 


缓存 失效 率 (cache miss rate) ， 即 每 秒 的 非 命中 次 数 ， 由 于 没有 命中 缓存 ， 此 时 需要 从 更 慢 的 存储 上 去 获取 数据 。 这 个 指标 比较 直观 ， 有 利于 我 们 分 析 当 应 用 没有 命中 缓存 时 ， 我 们 的 存储 系统 和 


当 我 们 使 用 缓存 产品 ， 我 们 要 清楚 以 下 几 点 。 


“ 缓存 的 数据 量 。 


“ 设置 合适 的 缓存 粒度 ， 建 议 对 单个 记录 、 单 个 元 素 进行 缓存 而 不 是 对 一 个 大 集合 进行 缓存 ， 如 果 要 将 整个 集合 对 象 数 据 进行 缓存 的 话 ， 获 得 其 中 某 个 具体 元 素 的 性 能 将 会 受到 严重 的 影响 。 


为 了 提高 知 吐 率 ， 减 少 网 络 回 返 ， 建 议 一 次 获取 多 条 记录 ， 如 Memcached 的 mget 方 法 。 


稳定 的 性 能 和 快速 的 性 能 往往 一 样 重要 。 我 们 在 设计 缓存 的 时 候 ， 要 考虑 到 未 命中 的 时 候 ， 生 成 结果 的 代价 ， 如 果 会 导致 偶尔 访问 的 用 户 响应 慢 ， 那 么 请 不 要 牺牲 这 部 分 很 小 比例 的 用 户 。 


一 般 来 说 ，Memcached 属 于 被 动 缓存 ， 我 们 也 可 以 采取 主动 缓存 的 策略 ,预先 生成 一 些 访问 最 多 的 ， 生 成 代价 最 昂贵 的 内 容 到 Memcached 中 。 


于 序列 化 和 反 序 列 化 需要 一 定 的 资源 开销 ， 当 处 于 高 并 发 高 负载 的 情况 下 ， 可 能 要 消耗 大 量 的 CPU 资源 ， 对 于 一 些 序列 化 的 操作 一 定 要 慎重 ， 尤 其 是 在 处 理 复杂 数据 类 型 时 ， 可 能 序列 化 的 开销 会 


田 


注意 事项 具体 如 下 。 


如 果 缓存 挂 了 怎么 办 ? 或 者 因为 调整 缓 在， 清空 缓存 ， 对 数据 库 产生 了 冲击 怎么 办 ? 


假设 你 的 业务 逻辑 是 ， 如 果 缓存 挂 了 ， 就 去 后 端的 数据 库 中 获取 数据 。 那 么 很 可 能 短 时 间 内 的 流量 远 远 超过 了 数据 库 的 处 理 能 力 ， 导 致 数据 库 不 能 提供 服务 。 所 以 就 需要 考虑 对 于 后 端 数据 库 的 保护 


限 流 指 的 是 应 用 对 请 求 有 排队 机 制 ， 如 果 队列 超过 了 一 定 的 长 度 就 会 触发 限 流 ， 就 会 随机 抛弃 掉 一 些 请 求 。 


2. 非 结构 化 数据 的 存储 


不 要 在 数据 库 里 存储 非 结构 化 的 数据 ， 如 视频 、 音 乐 、 


片 等 ， 可 以 考虑 把 这 些 文件 存储 在 分 布 式 文件 系统 上 ， 数 据 库 中 存储 地 址 即 可 。 


[ 


3. 隔 离 大 任务 


批量 事务 一 般 应 该 和 实时 事务 相 分 离 ， 因 为 MYSQL 不 太 擅长 同时 处 理 这 两 类 任务 。 


有 时 我 们 会 运行 一 些 定时 任务 ， 这 些 任务 很 耗费 资源 ， 我 们 需要 注意 调度 ， 减 少 对 生产 环境 的 影响 ， 比 如 更 新 Sphinx 索 引 ， 需 要 定期 去 数据 库 中 扫描 大 量 记录 ， 可 能 短 时 间 内 会 造成 数据 库 负荷 过 高 


对 数据 库 进行 的 一 些 大 操作 ， 我 们 可 以 通过 小 批量 操作 的 方式 减少 操作 对 生产 系统 的 影响 ， 比 如 下 面 的 这 个 删除 大 量 数据 的 例子 。 


delete * from table name where ctime < '2014-12-12'。 


执行 SQL 会 删除 干 万 级 别 的 记录 ， 由 于 删除 的 记录 过 多 ， 可 能 会 导致 执行 计划 变 为 全 表 扫 描 ， 从 而 导致 不 能 写 入 数据 ， 影 响 生产 环境 。 


优化 方案 具体 步骤 如 下 。 


1) 程序 每 次 获取 1 万 条 符合 条 件 的 记录 ，SQL 为 “SELECT id FROM table_name WHERE ctime<'2014-12-12'limit 0,10000” 。 


2) 根据 主键 id 删除 记录 。 每 批 100 条 ， 然 后 线程 休眠 100 毫 秒 ， 


直到 删除 完 步骤 1) 中 查询 到 的 所 有 id。 


3) 重复 步骤 1) 和 步骤 2) ， 直 到 执行 “SELECT id FROM table_name WHERE ctime<'2014-12-12'imit 0,10000” 返 回 空 结果 集 为 止 。 


休眠 100ms 是 为 了 限制 删除 的 速率 ， 减 少 操作 对 生产 环境 的 影响 。 


有 时 这 些 大 操作 无 法 完全 消除 ， 但 又 占 


4. 应 用 程序 相关 数据 库 优 先 注意 事项 


以 下 将 列举 一 些 应 用 程序 相关 的 数 


居 库 优化 注意 村 


昌 


居 了 大 量 的 资源 ， 这 时 我 们 就 可 以 通过 系统 资源 控制 的 方式 对 应 用 进行 限制 。 


“ 检查 应 用 程序 是 否 需 要 获取 那么 多 的 数据 ， 是 否 必须 扫描 大 量 的 记录 ， 是 否 做 了 多 余 的 操作 。 


:评估 某 些 操作 是 应 该 放 在 数据 库 中 实现 还 是 在 应 用 中 实现 ? 不 要 在 数据 库 中 进行 复杂 的 运算 操作 ， 比 如 应 用 就 更 适合 做 正则 的 匹配 。 


“ 应 用 程序 中 是 否 有 复杂 的 查询 ”有 时 将 复杂 的 查询 分 解 为 多 个 小 查询 ， 效 率 会 更 高 ， 可 以 得 到 更 高 的 吞吐 率 。 


“ 有 时 框架 中 会 使 用 许多 无 效 的 操作 ， 比 如 检测 数据 库 连接 是 否 可 用 。 应 该 设置 相关 参数 减少 这 类 查询 。 


17.1.2 ”好 的 监控 系统 和 可 视 化 工具 


解决 性 能 问题 如 果 是 临时 的 、 紧 急 的 ， 特 别 是 在 生产 繁忙 的 时 候 ， 你 往往 会 难以 下 手 ， 因 为 在 压力 之 下 ， 可 能 会 遗漏 一 些 问题 ， 或 者 没有 得 到 最 好 的 解决 方案 。 系 统 应 该 能 够 及 时 预警 ， 在 性 能 问题 


应 用 服务 需要 考虑 维护 性 ， 可 以 进行 性 能 统计 ， 了 解 哪些 操作 占据 了 最 多 资源 ， 通 过 可 视 化 工具 检查 性 能 ， 可 以 让 我 们 能 够 观察 应 用 正在 做 什么 事情 ， 如 何 优化 应 用 以 减少 不 需要 的 工作 。 


17.1.3 ”良好 的 灰 度 发 布 和 降级 功能 


系统 越 来 越 复 杂 ， 各 个 组 件 之 间 互 相 调用 ， 可 能 某 个 模块 会 导致 整个 系统 不 能 提供 服务 。 我 们 有 必要 区 分 核心 的 业务 和 非 核心 的 业务 ， 理 清 各 种 模块 之 间 的 关系 ， 如 果 能 够 有 针对 性 地 停止 或 上 线 功 


17.1.4 “合理 地 拆 分 代码 


进行 架构 调整 常用 的 一 个 技术 是 


对 于 复杂 的 业务 ， 如 果 出 现 了 因 


E 直 拆 分 ， 


这 里 不 会 严格 区 分 拆 分 代码 、 垂 直 拆 分 和 拆 库 。 


垂直 拆 分 需要 慎重 ， 因 


为 跨 表 的 连接 会 变 得 


很 难 。 所 以 还 是 要 看 业务 逻辑 ， 如 果 表 之 间 


代码 而 导致 的 性 能 问题 ， 那 么 可 以 先 从 物理 上 隔离 服务 再 考虑 代码 优化 ， 如 部 署 更 多 独立 的 Web 服 务 器 或 数据 库 副本 以 提供 服务 。 将 数据 库 数据 拆 分 到 独立 的 实例 | 


的 关联 很 多 很 紧密 ， 那 么 可 能 拆 分 数据 库 就 不 是 一 个 好 的 方案 。 


拆 分 业务 之 后 ， 需 要 把 用 户 引 导 到 新 的 程序 或 服务 上 。 有 诸多 方式 可 以 使 用 ， 如 更 改 域名 、 应 用 前 端 分 发 、302 跳 转 ， 或 者 有 些 客户 端 有 更 多 的 功能 ， 可 以 接受 云端 的 指令 ， 修 改 访问 不 同 功 能 的 域 ; 


拆 分 代码 需要 慎重 ， 因 为 分 离 的 多 套 代 码 ， 可 能 会 需要 更 多 的 接口 调用 ， 需 要 更 多 的 交互 ， 增 加 了 复杂 性 ， 应 该 视 后 续 发 展 而 定 。 如 果 代码 之 间 的 划分 并 不 是 很 清晰 ， 一 个 需求 来 了 ， 要 互相 提供 接 


许多 时 候 ， 是 业务 优先 的 ， 因 此 要 先 保证 业务 ， 增 加 更 多 的 资源 用 于 突 发 的 负荷 。 对 于 数据 库 中 数据 的 拆 分 ， 可 能 也 不 是 一 步 到 位 的 ， 需 要 兼顾 业务 的 正常 运行 ， 因 为 对 数据 的 拆 分， 往往 需要 先进 


模块 降级 是 需要 考虑 的 ， 模 块 的 各 自 监控 也 是 需要 的 。 这 样 在 发 生 故障 的 时 候 可 以 及 时 关闭 一 些 出 问题 的 模块 。 保 证 核心 的 业务 服务 。 升 级 的 时 候 ， 也 可 以 进行 灰 度 升级 ， 逐 步 打开 一 些 功能 开关 。 


17.2 ”应 用 服务 器 调 优 


数据 库 的 前 端 一 般 是 应 用 服务 器 ， 如 果 应 用 服务 器 得 到 了 优化 ， 也 可 以 减少 数据 库 的 压力 ， 使 得 整个 系统 的 性 能 更 好 、 可 扩展 性 更 好 。 应 用 服务 器 的 调 优 是 一 个 很 大 的 主题 ， 本 章节 只 是 介绍 一 些 基 


在 调 优 之 前 ， 必 须要 清楚 应 用 服务 器 的 响应 过 程 ， 细 分 为 各 个 阶段 ， 哪 个 阶段 耗费 的 时 间 最 多 ， 就 首先 从 那个 部 分 着 手 进 行 优化 。 


每 个 应 用 服务 器 都 有 许多 参数 配置 ， 我 们 在 进行 调 优 的 时 候 ， 应 尽量 逐个 对 参数 加 以 调整 优化 ， 这 样 可 以 更 好 地 衡量 调整 的 效果 ， 如 果 参 数 优化 没有 效果 ， 那 就 恢复 原来 的 配置 。 


修改 参数 的 数值 ， 可 以 逐步 调整 参数 的 值 ， 如 果 一 次 性 调整 得 过 多 ， 那 么 可 能 你 得 不 到 一 个 最 优 的 配置 ， 或 者 推翻 你 自己 的 判断 ， 逐 步调 整 参数 ， 你 有 更 大 的 可 能 性 最 终 得 到 一 个 性 能 良好 的 系统 。 


在 应 用 程序 所 在 的 软 硬 件 环境 发 生变 动 的 时 候 ， 你 应 该 重新 审视 以 前 所 做 的 优化 配置 ， 看 它们 是 否 依然 能 够 工作 。 


你 应 该 清楚 应 用 服务 器 的 一 些 参数 会 如 何 影响 到 数据 


库 的 负荷 ， 清 楚 哪 些 参数 会 导致 数据 库 的 连接 数 增加 ， 由 于 一 些 连 接 池 或 框架 的 行为 ， 


Oi 应 用 程序 调 优 往往 是 最 见效 的 方式 ， 通 过 减少 不 必要 的 工作 或 让 工作 执行 得 更 快 ， 我 们 可 以 大 幅度 地 提升 性 能 。 应 用 程序 访问 调 
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大 量 的 连接 会 导致 过 多 地 检测 数据 库 的 命令 ， 因 此 也 需要 


优 更 多 的 是 软件 架构 的 范畴 。 如 果 读者 有 兴趣 ， 建 议 多 阅 让 


本 章 将 为 读者 介绍 针对 MySQL Server 的 优化 ， 这 也 是 DBA 最 熟悉 的 领域 之 一 。 首 先 我 们 介绍 MySQL 的 主要 参数 ， 然 后 ， 讲 述 常见 硬件 资源 的 优化 。 我 们 假设 读者 已 经 具备 了 足够 的 基础 知识 ， 所 以 


衡量 数据 库 性 能 的 指标 ， 一 般 衡量 数据 库 的 性 能 有 两 个 指标 : 响应 时 间 和 吞吐 率 。 响 应 时 间 又 包括 等 待 时 间 和 执行 时 间 。 我 们 进行 优化 的 


要 目的 是 降低 响应 时 间 ， 提 高 吞吐 率 。 


下 面 我 们 来 看 下 MySQL 是 如 何 执行 优化 和 查询 的 ? 


大 致 的 步骤 如 下 所 示 。 


1) 客户 端 发 送 SQL 语 句 给 服务 器 。 


2) 如 果 启 用 了 Query Cache， 那 么 MySQL 将 检查 Query Cache， 如 果 命 中 ， 就 返回 Query Cache 里 的 结果 集 ， 否 则 ， 执 行 下 一 个 步骤 。 


3) MySQL Parser 解 析 SQL，MySQL 优 化 器 生成 执行 计划 。 


4) MySQL 查 询 处 理 引擎 执行 此 执行 计划 。 


MySQL 性 能 优化 显然 是 要 对 以 上 的 部 分 环节 或 所 有 环节 进行 优化 ， 尽 量 降低 各 个 环节 的 时 间 ， 以 提高 吞吐 率 。 对 于 性 能 的 优化 ， 正 确 的 策略 是 衡量 各 个 环节 的 开销 ， 优 化 开销 大 的 环节 ， 而 不 是 使 月 


对 于 客户 端 来 说， 发 送 SQL 语 句 的 开销 一 般 很 小 ， 如 果 是 响应 缓慢 的 网 络 ， 网 络 延 时 较 高 ， 那 么 可 以 考虑 使 用 长 连接 或 连接 池 等 手段 进行 加 速 ， 或 者 一 次 发 送 多 条 语句 ， 或 者 使 用 存储 过 程 等 手段 减 


本 书 主要 聚焦 于 后 面 的 3 个 步骤 ， 我 们 需要 关注 Query Cache 是 如 何 加 速 响应 ;如 何 进行 查询 优化 ， 生 成 良好 的 执行 计划 ; 实际 查询 处 理 过 程 中 对 于 MO、CPU、 内 存 等 资源 的 使 用 是 怎样 的 。 我 们 景 


前 的 开发 篇 和 运 维 篇 章 已 经 讲述 了 许多 基础 知识 ， 这 里 不 再 歼 述 ， 本 章 我 将 主要 从 系统 资源 和 MySQL 参 数 设置 的 角度 ， 讲 述 一 些 我 们 需要 关注 的 优化 点 。 


18.2 MySQL 的 主要 参数 


本 节 将 列举 一 些 主要 的 参数 ， 下 面 将 详细 介绍 各 个 参数 。 


1.innodb_buffer_pool size 


一 个 简单 的 策略 是 如 果 数 据 库 很 大 ， 远 远 超过 内 存 ， 那 么 应 设置 尽 可 能 大 的 缓冲 池 (buffer pool) 。 如 果 数 据 库 较 小 ， 一 般 来 说， 缓冲 池 的 大 小 设置 为 稍 大 于 数据 库 的 10% 就 可 以 了 ， 大 于 10% 是 B 


更 合适 的 策略 是 衡量 你 的 热点 数据 的 大 小 ， 如 果 设置 的 缓冲 区 能 容纳 绝 大 部 分 的 热点 数据 ， 没 有 产生 过 多 的 物理 读 ， 那 么 这 个 设置 就 是 比较 合理 的 设置 。 需 要 注意 的 是 ， 不 要 设置 得 过 大 ， 因 为 我 们 


注意 32 位 系统 的 内 存 限 制 ， 超 过 了 内 存 限 制 ， 可 能 会 导致 实例 崩溃 ， 系 统 宕 机 。 


一 般 计 算 MySQL 需 要 多 少 内 存 比较 难 ， 也 难以 预测 ， 比 较 可 靠 的 方式 是 查看 目前 的 生产 环境 的 内 存 消耗 。 


MySQL 所 消耗 的 内 存 还 和 连接 数 有 关 ， 每 个 连接 所 消耗 的 内 存 总 量 将 依赖 于 负荷 ， 如 果 查 询 很 复杂 ， 那 么 它 会 消耗 更 多 的 内 存 ， 如 果 只 是 简单 的 查询 ， 平 时 基本 上 是 sleep 的 状态 ， 那 么 它 实际 占 


如 下 的 图 18-1 描 述 了 存储 的 访问 层次 。 


[ 


主要 内 存 


18-1 存储 的 访问 层次 


对 于 图 18-1 中 所 示 的 架构 ， 上 一 层 应 尽 可 能 缓存 下 一 层 的 “热点 ”数据 ， 也 就 是 说 ， 我 们 需要 平衡 好 内 存 和 磁盘 的 成 本 ， 尽 量 避 免 磁盘 访问 ， 对 于 MySQL 来 阅 ， 内 存 的 主要 部 分 就 是 InnoDB 缓 冲 滤 


需要 清楚 的 一 个 道理 是 ， 一 般 而 言 ， 数 据 库 系统 的 专用 存储 系统 比 操作 系统 的 存储 系统 高 效 得 多 。InnoDB 缓 冲 池 就 是 如 此 ， 而 MylSAM 仍 然 是 需要 OSs 来 缓存 数 


2.innodb flush_method 


居 的 ， 加 速 访问 ， 所 以 往往 表现 得 不 


这 个 选项 只 在 Unix 系 统 上 有 效 。 如 果 这 个 选项 被 设置 为 fdatasync (默认 值 ) ， 那 么 InnoDB 将 使 用 fsync() 来 刷新 数据 和 日 志文 件 。 如 果 被 设置 为 O_DSYNC， 那 么 InnoDB 将 使 用 O_DSYNC 来 打开 


3.innodb log file size 


日 志 组 里 每 个 日 志文 件 的 大 小 。 早 期 的 版 本 中 ， 在 32 位 的 计算 机 上 ， 日 志文 件 的 合并 大 小 必须 小 于 4GB。 默 认 是 5MB。 不 太 好 去 确定 innodb log file size 这 个 参数 的 大 小 ， 早 期 MySQL 版 本 的 配置 


MySQL 的 灾难 恢复 分 为 redo 和 undo 两 个 过 程 ，redo 即 找到 日 志文 件 里 记录 的 已 经 更 改 了 但 是 并 未 写 入 数据 文件 的 记录 ， 然 后 应 用 这 些 日 志 。undo 即 回 滚 那些 没有 提交 的 操作 ，undo 的 时 候 ， 数 所 


MySQL 在 切换 事务 日 志 的 时 候 ， 可 能 会 进行 一 次 “check point” 的 操作 ， 将 部 分 数据 写 入 到 磁盘 ， 也 就 是 说 ， 要 确保 我 们 的 缓存 里 比 日 志 还 | 日 的 数据 写 入 了 磁盘 。 其 他 时 刻 也 可 能 发 生 “check pe 


事务 日 志 不 能 过 小 ， 否 则 可 能 会 导致 性 能 问题 。 事 务 日 志 是 循环 写 的 ， 先 写 第 一 个 日 志文 件 ， 再 写 第 二 个 日 志文 件 ， 然 后 又 会 去 写 第 一 个 日 志文 件 ， 而 在 覆盖 旧 的 日 志 之 前 ， 需 要 确保 我 们 的 缓存 里 


事务 日 志 也 不 能 太 大 了 ， 因 为 这 个 时 刻 ， 我 们 的 “check point” 会 不 怎么 频繁 ， 那 么 MySQL 的 灾难 恢复 可 能 需要 更 长 的 时 间 ， 因 为 它 需要 应 用 更 多 的 日 志 。 生 产 环 境 的 恢复 速度 将 取决 于 应 用 日 志 


我 们 可 以 配置 事务 日 志 可 以 写 入 半 个 小 时 到 1 个 小 时 的 日 志 。 这 样 对 于 大 部 分 应 用 已 经 足够 了 。 太 小 了 ， 会 频繁 切换 日 志 ; 太 大 了 ， 可 能 会 导致 故障 恢复 的 时 间 过 长 。 我 的 经 验 值 是 256~512MB。 


日 志 的 写 入 量 可 以 查看 变量 innodb_os log_written。 我 们 可 以 每 隔 一 分 钟 查看 一 次 ， 统 计 每 分 钟 写 入 的 


名 
| 
才 


的 命令 将 会 每 分 钟 检查 一 次 日 志 的 写 入 量 。 


mysqladmin extended -uroot -pxxxxxxxx -r -i 60 -c 3 |grep "innodb os 1og_ written" 


志 。 默 认 有 2 个 日 志 ， 那 么 每 个 日 志 的 大 小 =10*45/2=225， 大 约 等 


如 果 由 上 面 的 命令 得 知 每 分 钟 写 入 量 为 10MB， 那 么 我 们 配置 可 以 连续 写 45 分 钟 的 


F256MB， 那 么 我 们 可 以 配置 innodb_log fi 


如 果 得 出 的 结论 是 InnoDB 日 志 需 要 几 个 GB 那 么 大 ， 那 么 很 可 能 是 不 正常 的 ， 你 要 深究 为 什么 会 写 入 这 么 大 的 日 志 ， 为 什么 有 这 么 多 /大 的 变更 ， 你 可 能 需 


在 应 


层 就 规避 这 种 情况 。 


4.innodb flush log at trx commit 


当 innodb flush_log_at trx_commit 被 设置 为 0 时 ， 日 志 缓 冲 将 每 秒 一 次 被 写 到 日 志文 件 中 ， 并 且 对 日 志文 件 进行 磁盘 操作 的 刷新 ， 但 是 在 事 : 


我 们 的 生产 环境 一 般 推 荐 设置 为 nnodb _ flush log_at trx_commit=2， 因 为 它 可 以 兼顾 效率 和 一 定 的 安全 性 ， 理 想 情况 下 ， 最 多 可 能 丢失 1 秒 的 事务 。 如 果 设置 为 1， 则 对 了 


5.sync_binlog 


这 个 参数 是 设置 ， 每 当 写 了 sync_binlog 次 二 进 制 日 志 后 ， 把 日 志 实 际 刷新 到 磁盘 中 ， 默 认 值 是 0， 不 与 硬盘 同步 。 


绝 大 部 分 公司 的 生产 环境 普遍 使 用 的 是 auto commit 模 式 (自动 寻 


务 提交 时 不 进行 任何 操作 。 当 这 个 值 为 1 (默认 值 ) 时 ， 


如 果 设置 为 1， 那 么 最 多 丢失 1 条 记录 (事务 ) ， 这 是 最 安全 的 选择 。 


生产 环境 的 推荐 设置 是 8~20， 这 样 可 以 兼顾 效率 和 安全 ， 贸 


性 能 


4 影响 会 很 大 ， 因 ，; 


有 务 提交 ) ， 每 次 写 一 个 语句 ， 就 会 写 一 次 二 进 制 日 志 ， 如 果 不 是 自动 事务 提交 ， 那 么 每 个 事务 将 写 入 一 次 二 进 制 日 志 。 


果 设 置 为 1， 你 可 能 会 磁 到 /O 瓶 巴 ， 你 需要 选用 更 好 的 SSD 设 备 ， 或 者 使 用 带电 池 的 RAID 卡 来 缓解 MO 瓶颈 ， 优 化 文件 系统 也 是 一 个 选 世 


生产 实践 证 明 ，sync_binlog 会 对 事务 吞吐 率 有 比较 大 的 影响 。 事 务 日 志 、 数 据 文 件 、 二 进 制 日 志文 件 是 需要 同步 的 。 数 据 库 可 以 看 作 一 个 巨大 的 同步 机 ， 各 个 组 件 之 间 存 在 复杂 的 通信 和 同步 等 待 ， 


有 一 个 相关 的 参数 Innodb_support_xa 我 们 需要 了 解 。innodb_support_xa 设 置 为 1 时 ， 这 个 变量 允许 InnoDB 支 持 XA 事务 ， 妈 


生产 环境 为 了 安全 和 复制 ， 必 须 


6.innodb thread concurrency 


InnoDB 试 着 在 InnoDB 内 部 保持 操作 系统 线程 的 数量 少 于 或 等 于 这 个 参数 给 出 的 限制 。 官 方 建议 是 将 其 设置 为 处 理 器 数目 加 磁盘 数 之 和 ， 对 于 高 并 发 村 


7.innodb _ max dirty pages pct 


Distributed(XA)Transactions 分 布 式 事务 ，MySQL 部 分 支持 XA 事务 。 


启 binlog 和 innodb_support_xa。 如 果 将 sync_binlog 参 数 设 置 为 1， 那 么 存储 引 警 和 二 进 制 


有 务 ， 也许 你 应 该 把 这 个 值 设 


志 需 要 完全 同步 。 如 果 二 进 制 日 志 所 在 的 磁盘 存在 性 能 问题 ， 那 么 也 


得 更 大 一 些 。 关 


这 是 一 个 范围 从 0 到 100 的 整数 。 默 认 是 90。InnoDB 中 的 主线 程 试 着 从 缓冲 池 写 数据 ， 使 得 脏 页 (没有 被 写 的 页 面 ) 的 百分比 不 超过 这 个 值 。 可 以 运行 如 下 命令 进行 修改 。 


SET GLOBAL innodb max dirty pages pct = value; 


生产 环境 建议 将 


设置 为 更 小 的 值 : 50~75。 


8.read_buffer size 


每 个 线程 连续 扫描 时 为 扫描 的 每 个 


9.read rnd buffer size 


排序 后 ， 按 照排 序 后 的 顺序 读 取 行 时 ， 则 通过 该 缓冲 


表 分 配 的 缓冲 区 的 大 小 ( 字 节 ) 。 如 果 进 行 多 次 连续 扫描 ， 可 能 还 需要 增加 该 值 ， 默 认 值 为 131072。 只 有 当 查 询 需要 的 时 候 ， 才 分 配 read_buffer_ size 指定 的 全 部 


区 读 取 行 ， 以 避免 搜索 硬盘 。 将 该 变量 设置 为 较 大 的 值 可 以 改进 ORDER BY 的 性 能 。 但 是 ， 这 是 为 每 个 客户 端 分 配 的 缓冲 


网 


此 你 不 应 该 将 全 


10.sort_buffer size 


区 的 大 小 。 增 加 该 值 可 以 加 快 ORDER BY 或 GROUP BY 操作 。 查 询 需 要 排序 的 时 候 (如 filesort) 才 分 配 sort_buffer_size 指 定 的 内 存 ， 不 要 设置 得 过 大 ， 否 则 小 的 排序 也 需 i 


每 个 排序 线程 分 配 的 缓冲 


在 我 们 确定 需要 进行 大 的 排序 操作 的 时 候 ， 我 们 可 以 在 会 话 级 别 定义 大 的 排序 sort_buffer_size。 


11.myisam _sort_buffer size 


区 ， 可 以 在 会 话 级 别 进行 设置 。 


当 运 行 REPAIR TABLE 命 令 修复 表 、 运 行 CREATE INDEX 命 令 创 建 索引 或 运行 ALTER TABLE 命 令 修改 表 结 构 时 ， 排 序 过 程 中 需 分 配 的 缓冲 


12.query cache size 


新 定义 大 小 会 清除 原来 缓存 的 结果 集 。 对 于 ? 


由 
mn 


为 缓存 查询 结果 分 配 的 内 存 的 数量 。 默 认 值 是 9， 即 禁用 查询 缓存 。 请 注意 即使 将 query_cache_type 设 置 为 0 也 将 分 配 query_cache_size 设 置 的 内 存 。 
如 果 要 启用 Query Cache， 那 么 需要 同时 设置 query_cache_type=1。 


13.join_buffer size 


用 于 完全 连接 ( 当 不 使 用 索引 的 时 候 使 用 连接 操作 ) 的 缓冲 区 的 大 小 。 


给 不 能 利用 索引 的 连接 使 用 的 。 多 表 连 接 需要 多 个 join buffer。 所 以 一 个 查询 可 能 要 用 到 多 个 join_buffer_size。 


14.max_connections 
人 允许 的 并 行 客户 端 连接 数目 。 


15.max_connect errors 


主机。 默认 值 太 小 了 ， 可 以 设置 在 5000 以 上 。 


如 果 中 断 与 主机 的 连接 超过 了 该 数目 ， 则 该 主机 会 阻塞 后 面 的 连接 。 你 可 以 用 FLUSH HOSTS 语 句 解锁 锁定 的 


16.skip-name-resolve 


该 项 ， 那 么 授权 表 中 的 所 有 Host 列 值 必须 为 |P 号 或 localhost。 生 产 环境 中 必须 设置 这 个 参数 ， 否 则 反 向 解析 缓慢 时 ， 会 导致 MySQL 连 接 缓 | 


不 要 解析 客户 端 连 接 的 主机 名 。 只 使 用 P。 如 果 你 要 使 


18.3 MySQL 内 存 优化 


18.3.1 如 何 避 免 使 用 swap 


这 里 我 们 仅仅 讨论 Linux 系 统 下 的 swap (交换 ) 。 其 他 系统 ， 如 Solaris， 会 有 一 些 区 别 。 


简单 地 说 ，swap 指 的 是 将 最 近 不 常 使 用 的 内 存 移动 到 下 一 级 存储 里 (硬盘 ) ， 在 需要 的 时 候 ， 再 载 入 到 主 内存 中 。 


swap 空 间 一 般 是 指 我 们 磁盘 上 的 预先 配置 的 一 个 分 区 ， 也 可 以 是 文件 ， 用 于 将 内 存 中 的 数据 交换 到 磁盘 上 。 物 理 内 存 和 swap 空 间 之 和 就 是 我 们 可 用 的 虚拟 内 存 的 大 小 。 当 我 们 的 内 存 不 够 了 或 应 F 


通过 free 命 令 ， 如 果 我 们 看 到 了 一 小 部 分 Swap 空间 被 使 用 ， 那 么 这 一 般 是 正常 的 ， 不 需要 额外 关注 ， 我 们 需要 关注 的 是 是 否 有 正在 进行 的 wap in/swap out 操 作 。 


一 些 人 建议 将 swap 分 区 设置 为 物理 内 存 的 大 小 ， 对 于 Linux 系 统 来 说 ， 这 个 建议 有 一 定 的 意义 ， 为 了 不 浪费 过 多 的 硬盘 空间 ， 建 议 使 用 如 下 的 策略 。 


` 如果 MEM<2GB， 那 么 SWAP=MEMX2， 否 则 SWAP=MEM+2GB。 


“ 对 于 内 存 非常 大 的 系统 ， 如 32GB、64GB， 我 们 可 以 使 用 0.5X 内 存 大 小 。 


MySQL 避 免 使 用 swap 的 一 些 方法 如 下 。 


(1) 设置 memlock 


可 在 参数 文件 中 设置 memlock， 将 MySQL InnoDB buffer 锁 定 到 内 存 ， 永 不 使 用 swap， 但 这 是 有 风险 的 。 如 果 内 存 不 够 大 ，MySQL 会 被 操作 系统 的 OOM 机 制 杀 掉 。 如 果 因为 物理 内 存 故 障 导致 上 


(2) 使 用 大 内 存 页 


可 以 设置 MySQL 使 用 Linux 系 统 的 大 内 存 页 (操作 系统 和 MySQL 都 需要 设置 ) 。Linux 系 统 的 大 内 存 页 是 不 会 被 交换 出 去 的 。 


(3) 设置 vm.swappiness 


可 以 设置 vm.swappiness=0， 以 减少 使 用 swap 的 可 能 。 


swappiness 参 数 ， 它 可 以 在 运行 时 进行 调 优 。 这 个 参数 决定 了 ， 将 应 用 程序 移动 到 交换 空间 而 不 是 移动 到 正在 减少 的 高 速 缓存 和 缓冲 区 中 的 可 能 性 ， 降 低 swappiness 可 以 提高 交互 式 应 用 程序 的 响 | 


(4) 禁用 NUMA 或 调整 NUMA 


在 生产 环境 中 你 可 能 会 碰 到 在 没有 内 存 压 力 的 情况 下 ， 也 发 生 swap in/swap out 的 情况 ， 导 致 不 定时 出 现 的 性 能 问题 。 尤 其 是 在 使 用 了 大 的 buffer pool size 的 情况 下 ， 这 一 般 是 因为 使 用 了 NUMA 


注意 ”不 要 去 禁用 swap， 并 不 是 所 有 内 核 在 swap 分 区 被 禁用 的 情况 下 都 能 工作 得 很 好 ， 这 可 能 会 导致 服务 异常 ， 某 个 服务 在 禁用 swap 的 时 候 能 够 工作 得 很 好 ， 并 不 代表 所 有 程序 都 能 很 好 地 工作 。 


18.3.2 NUMA 


从 系统 架构 来 说 ， 目 前 的 主流 企业 服务 器 可 以 分 为 3 类 : SMP (Symmetric Multi Processing， 对 称 多 处 理 架 构 ) 、NUMA (Non-Uniform Memory Access， 非 一 致 存储 访问 架构 ) 和 MPP (Me 


1.SMP 


如 图 18-2 所 示 的 是 一 个 SMP 系 统 。 


图 18-2 SMP 系 统 


在 这 样 的 系统 中 ， 所 有 的 CPU 共享 全 部 资源 ， 如 总 线 、 内 存 和 IO 系统 等 ， 多 CPU 之 间 没 有 区 别 ， 均 可 平等 地 访问 内 存 和 外 部 资源 。 因 


2.NUMA 


如 图 


18-3 所 示 的 是 NUMA 系 统 。 


为 CPU 共享 


相同 的 物理 内 存 ， 每 个 CPU 访问 内 存 中 的 任何 地 址 ， 


图 18-3 NUMA 系 统 


在 这 种 架构 中 ， 每 颗 CPU 有 


己 独 立 的 本 地 内 存 ，CPU 节 点 之 间 通 过 互联 模块 进行 连接 ， 访 问 本 地 内 存 的 


销 很 小 ， 延 时 比 访问 远 端 内 存 (系统 内 其 他 节点 的 内 存 ) 小 得 多 。 这 也 是 非 一 致 存储 访 号 


综 上 所 述 可 以 得 知 ，NUMA 对 内 存 访问 密集 型 的 业务 更 有 好 处 ，NUMA 系 统 提 升 了 内 存 访问 的 


局 部 性 ， 从 而 提高 了 性 能 。 


图 


18-4 所 示 ，N 


关于 CPU 信息 ， 我 们 可 以 查看 /proc/cpuinfo。 对 于 NUMA 的 访问 统计 ， 我 们 可 以 使 


uma_ foreigen 
interleave hit 


numasta 


[mysgql@db53 scripts] numastat 
14589985197 
S97480322 


1457B80716T7 
15663773 


t 命 令 进行 检查 ， 也 可 以 查看 /sys/devices/system/node/node*/numastat 文 件 。 如 图 


noden 


24850745 


ol134768 


图 18-4 NUMA 使 用 default 策 略 ，numastat 命 令 的 输出 


各 项 输出 的 含义 如 下 。 


: numa_hit: 在 此 节点 分 配 内 存 而 且 成 功 的 次 数 。 


“ numa_miss: 由 于 内 存 不 够 ， 在 此 节点 分 配 内 存 失 败 转 而 在 其 他 节点 分 配 内 存 的 次 数 。 


“numa_foreign: 预期 在 另 一 个 节点 分 配 内 存 ， 但 最 终 在 此 节点 分 配 的 次 数 。 


“ interleave_hit: 交错 分 布 策略 分 配 内 存 成 功 的 次 数 。 


“ local_node: 一 个 运行 在 某 个 节点 的 进程 ， 在 同一 个 节点 分 配 内 存 的 次 数 。 


“ other_node: 运行 在 其 他 节点 的 进程 ， 在 此 节点 分 配 内 存 的 次 数 。 


在 Linux 上 NUMA API 支 持 4 种 内 存 分 配 策略 ， 具 体 如 下 。 


“ 缺 省 〈default) : 总 是 在 本 地 节点 分 配 (分 配 在 当前 线程 运行 的 节点 上 ) 。 


“ 绑 定 (bind) : 分 配 到 指定 节点 上 。 


“ 交织 (interleave) : 在 所 有 节点 或 指定 的 节点 上 交织 分 配 。 


. 优先 (preferred) : 在 指定 节点 上 分 配 ， 失 败 后 在 其 他 节点 上 分 配 。 


绑 定 和 优先 的 区 别 是 ， 在 指定 节点 上 分 配 失败 时 (如 无 足够 内 存 ) ， 绑 定 策略 会 报告 分 配 失 败 ， 而 优先 策略 会 尝试 在 其 


他 节点 上 进行 分 配 。 强 制 使 用 绑 定 有 可 能 会 导致 前 期 的 内 存 短缺 ， 并 引起 大 量 


我 们 可 以 检查 程序 具体 的 内 存 分 配 信息 ， 假 设 pid 是 mysqld 的 进程 ID， 通 过 查看 /proc/pid/numa_maps 这 个 文件 ， 我 们 可 以 看 到 所 有 mysqld 所 做 的 分 配 操作 。 各 字段 的 显示 如 下 。 


2aaaaad3e000 default anon=13240527 dirty=13223315 
swapcache=3440324 active=13202235 N0=7865429 N1=5375098 


各 字段 及 其 解析 如 下 。 


“ 2aaaaad3e000: 内 存 区 域 的 虚拟 地 址 。 实 际 上 可 以 把 这 个 当 作 该 片 内 存 的 唯一 ID。 


“ default: 这 块 内 存 所 用 的 NUMA 策 略 。 


“ anon=number: 映射 的 匿名 页 面 的 数量 。 


' dirty=numbetr: 由 于 被 修改 而 被 认为 是 脏 页 的 数量 。 


“swapcache=number: 被 交换 出 去 ,但 是 由 于 被 交换 出 去 ， 所 以 没有 被 修改 的 页 面 的 数量 。 这 些 页 面 可 以 在 需要 的 时 候 被 释放 ， 但 是 此 刻 它们 仍然 在 内 存 中 。 


: active=number: “激活 列表 ”中 的 页 面 的 数量 。 


* NO=numbetr and N1=number: 节点 0 和 节点 1 上 各 自分 配 的 页 面 的 数量 。 


我 们 可 以 使 用 numactl 命 令 显示 可 用 的 节点 。 


numact1 --hardware 
available: 2 nodes (0-1) 
node 0 size: 64570 MB 
node 0 free: 8556 MB 
node 1 size: 64640 MB 
node 1 free: 1982 MB 
node distances: 
node 0 J 

0: 10 20 

1 20 10 


如 上 命令 告诉 我 们 ， 系 统 有 两 个 CPU 节点 : node0、node1。 每 个 节点 分 配 了 64GB 的 内 存 。 


distance 衡 量 了 访问 内 存 的 成 本 ， 系 统 认为 访问 本 地 节点 内 存 的 成 本 是 10， 访 问 远 端 内 存 的 成 本 是 20。 


NUMA 架 构 存在 的 一 个 问题 是 ， 对 于 NUMA 架 构 ，Linux 默 认 的 内 存 分 配方 案 是 优先 在 请 求 线程 当前 所 处 的 CPU 的 本 地 内 存 上 尝试 分 配 空间 ， 一 般 是 node0。 如 果 内 存 不 够 ， 系 统 就 会 把 node0 上 已 


解决 办 法 具体 如 下 : 


1) 关闭 NUMA。 


如 果 是 单机 单 实例 ， 则 建议 关闭 NUMA， 关 闭 的 方法 有 如 下 两 种 。 


. 硬件 层 ， 在 BIOS 中 设置 关闭 。 


“ OS 内 核 ， 启动 时 设置 huma=off。 


可 用 类 似 如 下 的 方式 进行 修改 。 


[root@db1000 ~]# cat /proc/cmdline 

TO root=LABEIL=/ rhgb quiet 

Vi /etc/grub.conf 

kernel /vmlinuz-2.6.18-164.e15 ro root=LABEI=/ rhgb quiet numa=off 


确认 NUMA 是 否 关闭 ， 检 查 numactl--show 的 输出 信息 。 


[root@db1000 home]# /usr/bin/numactl --show 
policy: default 

preferred node: current 

Physcpubind: 0123456789101112131415 
cpubind: 0 

nodebind: 0 

membind: 0 


关闭 之 前 这 个 命令 会 显示 多 个 节点 的 信息 ， 输 出 结果 如 下 所 示 。 


policy: default 

Preferred node: current 

physcpubind: 0123456789101112131415 
cpubind: 0 1 

nodebind: 0 1 

membind: 0 1 


而 关闭 之 后 则 只 会 显示 一 个 节点 的 信息 ，nodebind 项 只 有 一 个 值 0。 我 们 也 可 以 检查 启动 信息 dmesglgrep-i numa。 


2) 使 用 numactl 命 令 将 内 存 分 配 策 略 修改 为 interleave (交叉 ) 或 绑 定 CPU。 


可 通过 修改 单 实例 启动 脚本 mysql.server 或 多 实例 启动 脚本 mysqld_multi， 例 如 ， 修 改 msyqld_multi 脚 本 (MySQL 5.1) 320 行 


将 $com="$mysqld" 更 改 为 $com="/usr/bin/numactl--interleave all$mysqld "; 


也 可 以 修改 启动 脚本 和 参数 ， 绑 定 MySQL 的 各 个 实例 到 固定 的 CPU 节点 ， 笔 者 更 推荐 使 有 


numact1 --cpubind=0 --membind=0,1 Program 


下 面 的 例子 ， 在 节点 1 上 运行 $MYSQLD 程 序 ， 只 在 节点 内 分 配 内 存 。 


numact1 --cpunodebind=1 --localalloc $MYSQLD 


3) 设置 参数 memlock。 


MySQL 进 行 初始 化 启动 的 时 候 ， 就 已 经 预先 把 InnoDB 缓 冲 池 的 内 存 锁 住 了 ， 即 设置 参数 memlock 等 于 1， 设 置 这 个 参数 ， 


4) 使 用 大 内 存 页 。 


还 有 一 些 其 他 的 辅助 手段 。 


配置 vm.zone_reclaim_mode=0 使 得 内 存 不 足 时 倾向 于 向 其 他 节点 申请 内 存 。 


echo-15>/proc/<pid_of_mysqld>/oom_adj, 将 MySQL 进 程 被 OOM _killer 强 制 kill 的 可 能 性 调 低 。 


18.4 MySQL CPU 优化 


系统 的 性 能 一 般 取 决 于 系统 所 有 组 件 中 最 弱 的 短 板 ，CPU、 内 存 、VO、 


CPU 的 瓶颈 一 般 是 大 量 运 算 和 内 存 读 取 所 导致 的 ， 比 如 加 密 操作 、 索 引 


这 种 方式 。 下 面 的 例子 ， 在 节点 0 的 CPU 上 运行 名 为 program 的 程序 ， 并 且 只 在 节点 0 和 1 上 分 配 内 存 。 


也 有 一 定 的 风险 ， 如 果 内 存 不 够 ， 可 能 会 导致 系统 启动 不 正常 ， 因 为 MyS 


网 络 都 可 能 会 成 为 瓶颈 所 在 。 现 实 中 ， 一 般 是 CPU 瓶 颈 或 |/O 瓶 颈 ，I/O 尊 颈 也 可 能 是 由 于 内 存 不 够 所 导致 的 。 


范围 查找 、 全 表 扫描 等 。 生 产 环境 中 出 现 CPU 瓶颈 往往 是 因为 大 量 的 索引 范围 查找 或 连接 了 太 多 表 。I/O 瓶 颈 往往 是 因为 内 存 i 


实际 生产 环境 中 ， 更 多 的 会 磁 到 /OO 瓶颈 ， 而 不 是 CPU 瓶颈 ， 你 可 以 使 


下 面 我 们 来 看 看 CPU 的 高 级 特性 。 


PC Server 上 有 一 种 节能 模式 ， 一 般 是 处 于 关闭 的 状态 ， 这 种 电源 管理 技术 可 以 在 负载 人 


由 于 MySQL 在 多 CPU 主机 上 的 扩展 性 有 限 ， 不 能 充分 利用 多 CPU 的 主机 ， 所 以 生产 中 可 能 会 在 同一 个 主机 上 部 署 多 个 实例 。 


氏 的 时 候 ， 调 低 CPU 的 时 钟 速度 ， 降 人 


top 或 mpstat 判 断 数 据 库 服 务 器 是 否 存 在 CPU 瓶 颈 。 


有 时 我 们 会 绑 定 MySQL 实 例 到 某 个 CPU 节点 上 。 


如 果 想 要 优化 性 能 ， 那 么 我 们 更 倾向 于 选取 速度 更 快 的 CPU， 而 不 是 增加 CPU。 从 理论 上 来 说， 如 果 操 作 比较 集中 于 一 些 资源 对 象 ， 瓶 颈 多 是 因为 锁 和 队列 等 待 ， 那 么 这 个 时 候 应 该 选取 更 强劲 的 C 


氏 能 耗 ， 但 这 种 技术 并 不 能 和 突 发 的 负荷 协作 得 很 好 ， 有 时 会 来 不 及 调整 


还 有 另外 一 种 电源 管理 技术 ， 它 通过 分 析 当前 CPU 的 负载 情况 ， 智 能 


全 关闭 一 些 


不 上 的 核心 ， 而 把 能 源 留 给 正在 使 


的 核心 ， 并 使 它们 的 运行 频率 更 高 ， 从 而 进一步 提升 性 能 。 相 反 ， 需 要 多 


18.5 ”MySQL W/O 优化 


18.5.1 概述 


我 们 的 生产 环境 一 般 是 OLTP 应 用 ，I/O 瓶 颈 一 般 来 自 于 随机 读 写 ， 随 机 读 的 消除 和 写 的 缓解 主要 靠 缓 存 ， 所 以 我 们 要 确保 MySQL 的 缓冲 区 能 够 缓存 大 部 分 的 热点 数据 。 当 然 ， 也 没有 必要 缓存 所 有 自 


数 


[es 
弄 


库 引 警 比 操作 系统 或 RAID 更 了 解数 据 ， 能 够 更 高 效 地 访问 数据 ， 文 件 系统 和 RAID 层 面 的 预 读 要 关 掉 ， 因 为 它们 帮 不 上 什么 忙 ， 应 该 交 给 数据 库 以 更 智能 地 判断 数据 的 读 取 。 


内 存 的 随机 读 写 速度 比 硬盘 的 随机 读 写 速度 快 了 几 个 数量 级 ， 所 以 如 果 有 1/O 的 性 能 问题 ， 那 么 添加 内 存 会 是 最 简便 的 方案 。 数 据 库 缓冲 是 调 优 的 重点 ， 我 们 需要 确保 数据 库 缓冲 能 够 缓存 大 部 分 的 


顺序 读 写 无 论 是 在 内 存 还 是 在 磁盘 中 ， 都 比 随机 读 写 更 快 。 一 般 是 不 用 考虑 特殊 的 缓存 策略 。 对 于 机 械 硬盘 ， 由 于 磁盘 的 工作 原理 ， 上 顺序 读 写 的 速 


随机 读 写 往往 来 自 质量 不 高 的 SQL， 这 些 SQL 往往 是 因为 索引 策略 不 佳 或 表 连 接 过 多 ， 从 应 用 层 优化 或 进行 索引 优化 ， 会 更 有 效果 ， 也 更 具 可 行 性 。 


文件 碎片 也 可 能 会 导致 更 多 的 随机 I/O， 尽 管 数据 库 是 


项 序 访问 数据 的 ， 但 是 /O 却 不 是 顺序 的 ，MySQL 自 身 并 没有 提供 工 


对 于 OLAP 应 用 ，MO 调 优 和 OLTP 有 些 相 似 ， 也 是 要 先 考虑 应 用 调 优 和 SQL 调 优 ， 尽 量 减少 MO 操作 ， 如 果 必 须要 执行 大 量 的 


18.5.2 ”选择 合适 的 VO 大 小 


度 比 随机 读 写 速度 快 得 多 ， 我 们 需要 着 重 优化 随机 


来 检查 数据 文件 是 否 碎片 很 多 ， 我 们 也 不 建议 频繁 地 进行 表 的 重建 和 优 人 


/O 操 作 ， 那 么 应 该 尽量 将 其 


转换 为 顺序 读 写 。 


一 般 来 说 ，MySQL 的 块 大 小 是 操作 系统 块 的 整数 块 ， 你 可 以 通过 命令 getconf PAGESIZE 来 检查 操作 系统 的 块 大 小 ， 更 大 的 MO 大 小 ， 意 味 着 更 大 的 吞吐 ， 尤 其 是 对 于 传统 的 机 械 硬 盘 ， 一 次 更 大 的 | 


18.5.3 “日志 缓冲 如 何 刷新 到 磁盘 


对 于 数据 库 的 MO 性 能 调整 ， 需 要 在 性 能 和 数据 的 安全 性 上 求 得 平衡 。 如 果 生 产 环境 有 严重 的 /O 性 能 问题 ， 那 么 它 往往 是 


程序 的 不 良 设 计 造成 的 。 一 个 应 用 级 别 的 SQL 调整 ， 可 能 就 能 解决 了 问题 


nnoDB 使 用 了 数据 缓冲 和 事务 日 志 ， 数 据 缓冲 大 小 、 日 志 大 小 、 日 志 缓 冲 、InnoDB 如 何 刷新 数据 和 缓冲 ， 都 会 对 性 能 产生 影响 。 


我 们 通过 配置 innodb _ flush_log_at_trx 来 控制 如 何 将 日 志 缓冲 刷新 到 磁盘 ，innodb_flush_log_at_trx 的 值 可 设置 为 0、1、2， 默 认为 1。 


nnoDB 的 脏 数据 并 不 是 马上 写 入 数据 缓冲 (数据 文件 ) 的 ， 而 是 会 先 写 日 志 缓 冲 (日 志文 件 ) ， 将 脏 数据 暂时 保留 在 数据 缓冲 区 中 ， 这 是 一 种 常见 的 数据 库 持 久 化 的 技术 ， 这 些 日 志 记录 了 数据 变 


nnoDB 在 缓冲 区 满 的 情况 下 会 将 日 志 缓冲 区 刷新 到 磁盘 ， 一 般 不 需要 调整 日 志 缓 冲 区 的 大 小 (innodb log_buffer_size) ， 除 非 有 很 多 有 BLOB 字 段 的 记录 ，innodb log_buffer_ size 的 大 小 默认 是 


设置 为 1 的 情况 下 ， 每 个 事务 提交 都 要 写 入 磁盘 ， 这 是 最 安全 的 做 法 ， 而 设置 为 其 他 值 时 ， 可 能 会 丢失 事务 。 一 般 机械 磁 盘 受 磁盘 旋转 和 寻 道 的 限制 ， 最 多 只 能 达到 几 百 次 |O/ 每 秒 ， 所 以 这 个 设置 会 


如 果 将 innodb flush_log_at trx 设 置 为 2， 那 么 每 次 事务 提交 时 会 将 日 志 缓冲 写 到 操作 系统 缓存 中 ， 但 不 实际 刷新 到 磁盘 中 ， 每 秒 再 刷新 日 志 缓 冲 到 磁盘 中 ， 这 样 做 可 以 减轻 MO 负荷 ， 如 果 不 存 在 攀 


如 果 innodb _flush_log_at_trx 设 置 为 0%， 那 么 每 秒 都 会 将 日 志 缓冲 写 到 日 志文 件 中 ， 且 将 日 志文 件 刷新 到 磁盘 ， 但 在 事务 提交 的 时 候 并 不 会 将 日 志 缓冲 写 到 日 志文 件 中 ， 一 般 不 建议 将 


设置 为 0, 和 有 


设置 为 1 将 会 更 安全 ， 但 每 次 导 


务 提交 时 都 会 伴随 磁盘 |/O， 受 机 械 硬 盘 的 寻 道 和 旋转 延迟 限制 ， 可 能 会 成 为 系统 瓶颈 ， 在 确认 可 以 满足 I/O 性 能 的 前 提 下 ， 可 将 


其 设置 为 1。 


建议 在 生产 环境 中 将 innodb flush_log_at trx 设 置 为 2。 


18.5.4 


措 
了 口 
+t 


如 果 日 志文 件 里 记录 的 相关 数据 并 未 写 入 数 


务 日 志 一 般 没 有 必要 和 数 


居 文 件 ， 那 么 这 个 日 志文 件 是 不 能 被 覆盖 的 。 日 志文 件 如 果 过 小 ， 那 么 可 能 会 过 多 地 检查 点 操作 ， 增 加 MO 操作 ， 而 如 果 日 志文 件 过 大 ， 则 会 增加 实例 许 ; 
居 文 件 分 离 ， 除 


F 你 有 许多 (20+) 盘 。 如 果 只 有 几 个 盘 ， 却 专门 使 F 


独立 的 盘 来 存放 二 进 制 日 志 、 


志 ， 则 有 些 浪费 。 在 有 足够 多 的 盘 的 情况 下 ， 磁 盘 M/O 分 离 才 下 
18.5.5 二进制 日 志 


如 果 分 离 二 进 制 日 志和 数据 文件 ， 可 能 会 带 来 一 点 性 能 上 


的 提升 ， 但 分 离 的 


要 目的 不 是 性 能 ， 而 是 为 了 日 志 的 安全 。 如 果 没 有 带电 池 的 RAID 卡 ， 那 么 分 离 就 是 有 必要 的 。 如 果 有 带电 池 的 RAID 卡 
如 果 将 二 进 制 日 志 存 放 在 独立 的 盘 上 ， 那 么 即使 我 们 的 数 拉 


居 文 件 损坏 了 ， 我 们 也 可 以 利用 备份 和 日 志 做 时 间 点 恢复 。 


18.5.6 InnoDB 如 何 打 开 和 刷新 数据 、 日 志文 件 


InnoDB 有 几 种 方式 和 文件 系统 进行 交互 ， 默 认 是 以 fdatasync 的 方式 读 写 文件 的 ， 生 产 环 境 中 推荐 设置 为 O_ DIRECT。 以 下 将 简单 介绍 这 两 种 方式 


“ fdatasync: 默认 InnoDB 使 用 fsync0 刷 新 数据 和 日 志 。 使 用 默认 设置 没有 什么 问题 ,但 也 许 发 挥 不 了 你 硬件 的 最 高 性 能 。 


: O_DIRECT: 对 于 数据 文件 ，MySQL Server 也 是 调用 fsync0 刷 新 文件 到 磁盘 的 ， 但 是 不 使 用 操作 系统 的 缓存 和 预 读 机 制 ， 以 避免 双重 缓冲 ， 如 果 你 有 带电 池 的 RAID 卡 ， 则 可 以 配合 这 个 选项 一 起 使 
T8357 


InnoDB 共 享 表 空 间 和 独立 表 空间 


InnoDB 表 空间 不 仅仅 可 以 存储 表 和 索引 数据 ， 还 有 UNDO (可 以 理解 为 数 拉 


居 前 像 ) 、insert buffer、doublewrite buffer 等 其 他 内 部 数据 结构 。 


目前 有 两 种 表 空 间 的 管理 方式 ， 共 享 表 空间 和 独立 表 空 间 。 默 认 的 是 共享 表 空 间 的 管理 方式 ，InnoDB 表 空间 的 管理 比较 简 重 


其， 并 没有 Oracle 那 样 丰 富 的 特性 。 如 果 使 


我 们 可 以 通过 innodb data file_path 设 置 多 个 InnoDB 数 提 


默认 的 共享 表 空 间 的 话 ， 数 
居 文 件 ， 一 般 将 最 后 一 个 文件 设置 为 可 自动 扩展 的 ， 以 减少 数据 文件 的 大 小 ， 你 也 可 以 将 数据 文件 分 离 到 不 同 的 磁盘 中 。 由 于 数据 文件 不 能 
当 自 动 扩展 的 数据 文件 被 填 满 之 时 ， 每 次 扩展 


展 默 认为 8MB， 我 们 可 以 调整 为 更 大 的 值 ， 如 32MB、64MB， 这 个 选项 可 以 在 运行 时 作为 全 


局 系统 变量 而 改变 。 因 


为 每 次 分 配 小 空间 ， 代 价 都 会 比较 大 ， 
另 一 种 方式 是 独立 表 空 间 ， 我 们 需要 将 innodb file_per table 设 置 为 


这 个 选项 可 以 将 每 个 InnoDB 表 和 它 的 索引 存储 在 它 自己 的 文件 中 ， 


于 每 个 表 都 有 自己 的 表 空 间 ， 所 以 又 称 为 独立 表 空 间 。UNDO、 各 种 数据 字典 等 


他 数据 仍然 存储 在 共享 表 空间 内 。 你 可 以 通 j 


InnoDB 也 支持 在 裸 设 备 上 存储 ， 通 过 这 种 方式 ， 你 也 许可 以 得 到 少许 的 性 能 提升 ， 但 


由 于 管理 难度 比较 大 ， 因 


此 很 少 有 人 使 用 这 种 方式 管理 数 


居 库 文件 。 
18.5.8 UNDO 暴涨 的 可 能 性 


有 时 我 们 的 共享 表 空 间 会 暴涨 ， 其 实 是 由 于 UNDO 空 间 发 生 了 暴涨 ，UNDO 空 间 暴 涨 的 原因 主要 有 如 下 两 点 。 


“ 存在 长 时 间 未 提交 的 事务 ， 因 为 未 提交 的 事务 需要 使 用 发 布 查询 时 刻 的 UNDO 的 数据 ， 所 以 共享 表 空 间 内 的 这 部 分 UNDO 数 据 不 能 被 清除 ， 将 会 积累 得 越 来 越 多 。 


:也许 是 负载 太 高 ， 清 理 线程 还 来 不 及 清除 UNDO ， 这 种 情况 下 ， 性 能 将 会 急剧 下 降 。 


18.5.9 关于 doublewrite buffer 


InnoDB 可 使 用 doublewrite buffer 来 确保 数据 安全 ， 以 避免 块 损坏 。doublewrite buffer 是 表 空 间 的 一 个 特殊 的 区 域 ， 可 顺序 写 入 。 当 InnoDB 从 缓冲 池 刷 新 数据 到 磁盘 时 ， 它 首先 会 写 入 doublew 


18.5.10 “数据库 文 件 分 类 


可 以 考虑 把 二 进 制 日 志文 件 、InnoDB 数 据 文件 的 物理 文件 分 布 到 不 同 的 磁盘 中 ， 这 样 做 主要 考虑 的 是 把 顺序 /O 和 随机 MO 进行 分 离 。 你 也 可 以 把 顺序 /O 放 到 机 械 硬 盘 上 ， 把 随机 VO 放 到 SSD 上 ,，! 


如 下 是 按照 顺序 MO 和 随机 I/O 对 数据 库 文件 做 了 下 分 类 。 


(1) 随机 VO 


“ 表 数 据 文 件 (*.ibd) : 启用 了 独立 表 空 间 (innodb_file_per_table=1) 。 


"UNDO 区域 (ibdata) : UNDO 里 存储 了 数据 前 像 ，MySQL 为 了 满足 MVCC， 需 要 读 取 存 储 在 UNDO 里 的 前 像 数据 ， 这 将 导致 随机 读 ， 如 果 你 要 运行 一 个 需要 很 长 时 间 的 事务 或 一 个 时 间 很 长 的 查 话 


(2) 顺序 /MO 


“ 事务 日 志 (ib logfile*) 。 


:二进制 日 志 (binlogxxxxxxx) 。 


* doublewrite buffer(ibdata) 。 


* insert buffer(ibdata) 。 


18.5.11 ” 何 时 运行 OPTIMIZE TABLE 


有 些 人 会 建议 定时 运行 一 些 OPTIMIZE TABLE 之 类 的 命令 ， 以 优化 性 能 ,这 点 与 Oracle 类 似 ， 也 总 会 有 些 人 建议 你 定时 运行 重建 索引 的 操作 。 一 般 来 说 ， 除 非 在 进行 了 大 量 会 影响 数据 分 布 的 操作 之 


Te 


OPTIMIZED TABLE 命 令 会 优化 InnoDB 主 键 的 物理 组 织 ， 使 之 有 序 、 紧 凑 ， 但 是 其 他 索引 仍然 会 和 以 前 一 样 未 被 优化 。 哪 一 个 索引 对 性 能 更 重要 呢 ? 也 许 从 来 没有 基于 主键 的 查询 条 件 。 其 实 ， 数 扩 


所 以 MySQL 5.1 的 官方 文档 中 才 会 建议 : 如 果 您 已 经 删除 了 表 的 一 大 部 分 ， 或 者 如 果 您 已 经 对 含有 可 变 长 度 行 的 表 (含有 VARCHAR、BLOB 或 TEXT 列 的 表 ) 进行 了 很 多 更 改 ， 则 应 使 用 OPTIMIZE 


18.5.12 “MySQL 磁盘 空间 


磁盘 空间 如 果 出 现 瓶 巴 ， 往 往 是 因为 数据 库 规划 失误 ， 前 期 没有 进行 足够 的 调研 ， 也 有 小 部 分 原因 是 因为 业务 发 展 得 太 快 了 ， 数 据 呈 现 爆炸 式 增 长 。 大 部 分 业务 ， 一 般 预 留 1 到 2 年 的 数据 增长 空间 就 


你 需要 尽 可 能 地 了 解 占据 数据 库 总 体 空间 比重 较 大 的 一 些 数据 ， 清 楚 哪 些 表 是 可 以 被 清理 或 归档 的 ， 许 多 情况 下 ， 我 们 并 不 需要 这 么 多 的 数据 ， 或 者 许多 数据 是 不 需要 保留 很 久 的 ， 是 完全 可 以 清除 


在 系统 上 线 之 前 ， 你 就 需要 制订 好 将 数据 进行 批量 清理 和 归档 的 方案 ， 可 以 使 用 定期 任务 删除 数据 ， 你 也 可 以 利用 分 区 表 有 删除 旧 的 历史 数据 。 


当 数 据 库 实例 的 数据 变 得 很 大 ， 单 台 机 器 已 经 很 难保 存 所 有 数据 的 时 候 ， 你 可 以 考虑 将 实例 、 数 据 库 分 离 到 其 他 的 机 器 。 


田 


于 处 理 器 和 高 速 缓存 存储 器 速度 的 提升 超过 磁盘 存储 设备 速度 的 提升 许多 业务 将 受 磁盘 空间 所 累 。 一 些 业 务 拥 有 海量 数据 ， 但 大 部 分 都 是 冷 数 据 ， 你 又 不 能 进行 简单 的 归档 处 理 ， 这 个 时 候 数 据 


目前 的 数据 库 主 机 ，CPU 资 源 往往 过 剩 ， 数 据 压 缩 可 以 减少 数据 库 的 大 小 ， 减 少 MO 和 提高 吞吐 量 ， 而 压缩 仅仅 只 会 消耗 部 分 CPU 成 本 。MySQL 5.5 开 始 提供 了 InnoDB 表 压缩 的 功能 ， 在 MySQL 5. 


对 于 真正 海量 高 并 发 的 应 用 ， 内 存 为 王 ， 你 应 该 在 内 存 中 尽 可 能 地 保证 热点 数据 和 索引 ， 更 多 的 索引 和 数据 可 以 放 在 一 个 内 存 块 中 ， 那 么 查询 的 响应 也 将 更 快 ， 表 是 压缩 的 也 意味 着 你 需要 更 少 的 存 


由 于 固态 硬盘 一 般 比 传统 机 械 硬 盘 要 小 ， 且 成 本 更 高 ， 所 以 压缩 对 固态 硬盘 万 


有 意义 。 


不 同 的 内 容 压 缩 率 将 会 不 一 样 ， 如 果 你 需要 将 表 修改 为 压缩 表 ， 那 么 你 需要 在 更 改 之 前 进行 测试 验证 ， 以 确认 压缩 率 和 转换 表 的 时 间 ， 一 般 来 说 ， 设 置 KEY_BLOCK_SIZE 为 8KB 可 以 适用 于 大 部 分 情 . 


@@, 千 本 章 讲述 了 调 优 将 会 涉及 的 MySQL 参数 及 在 使 用 MYSQL 的 过 程 中 ， 内 存 、CPU、IVO 的 优化 。 笔 者 不 推荐 读者 对 生产 环境 的 参数 做 大 的 调整 ， 也 不 推荐 使 用 各 种 不 常用 的 手段 去 优化 硬件 次 


第 19 章 “操作 系统 、 硬 件 、 网 络 的 优化 


本 章 将 介绍 操作 系统 和 硬件 的 性 能 优化 ， 对 于 硬件 ， 我 们 主要 讲述 CPPU、 内 存 、 磁 盘 阵 列 及 固态 硬盘 。 任 何 优化 ， 首 先 都 需要 有 足够 的 数据 支持 ， 对 于 操作 系统 下 性 能 数据 的 收集 ， 这 里 将 不 再 歼 述 


19.1 基本 概念 


如 下 是 需要 了 解 的 一 些 基本 概念 。 


(1) 什么 是 进程 


进程 可 以 简单 地 理解 为 程序 加 数据 ， 程 序 本 身 只 是 指令 、 数 据 及 其 组 织 形式 的 描述 ， 进 程 才 是 程序 (那些 指令 和 数据 ) 的 真正 运行 实例 。 若 干 进程 都 有 可 能 与 同一 个 程序 有 关系 ， 且 每 个 进程 都 可 以 


进程 在 运行 时 ， 状 态 会 发 生 改 变 ， 如 新 生 、 运 行 、 等 待 、 就 绪 、 结 束 等 ， 各 状态 的 名 称 也 可 能 会 随 着 操作 系统 的 不 同 而 不 同 。 


(2) 什么 是 线程 


线程 是 操作 系统 能 够 进行 运算 调度 的 最 小 单位 。 它 被 包含 在 进程 之 中 ， 是 进程 中 的 实际 运作 证 


多 线程 技术 可 以 让 一 个 进程 充分 利用 多 个 CPU。 同 一 进程 中 的 多 条 线程 将 会 共享 该 进程 中 的 全 部 系统 资源 ， 如 虚拟 地 址 空间 、 文 件 描述 符 和 信号 处 理 等 。 但 同一 进程 中 的 多 个 线程 也 都 有 各 自 的 调 尺 


(3) 什么 是 内 核 调 度 


位 。 一 个 进程 可 以 有 许多 线程 ， 每 条 线程 并 行 执行 不 同 的 任务 。 使 用 多 线程 技术 (多 线程 即 每 一 个 线程 


内 核 调 度 将 把 CPU 的 运行 时 间 分 成 许多 片 ， 然 后 安排 给 各 个 进程 轮流 运行 ， 使 得 所 有 进程 仿佛 在 同时 运行 ， 内 核 需 要 决定 运行 哪个 进程 /线程 ， 哪 个 需要 等 待 ， 选 择 要 在 哪个 CPU 核 上 运行 线程 。 内 


(4) 什么 是 虚拟 内 存 


虚拟 内 存 是 计算 机 系统 内 存 管理 的 一 种 技术 。 它 使 得 应 用 程序 认为 它 拥有 连续 的 、 可 用 的 内 存 (一 个 连续 的 、 完 整 的 地 址 空间 ) ， 而 实际 上 ， 它 通常 是 被 分 隔 成 多 个 物理 内 存 碎 片 ， 还 有 部 分 被 暂时 


对 虚拟 内 存 的 定义 是 基于 对 地 址 空间 的 重 定义 的 ， 即 把 地 址 空间 定义 为 “连续 的 虚拟 内 存 地 址 ”， 以 此 来 “欺骗 ”程序 ， 使 它们 以 为 自己 正在 使 用 一 大 块 的 “连续 ”的 地 址 。 


对 于 每 个 进程 或 内 核 而 言 ， 它 们 操作 大 块 的 虚拟 内 存 ， 而 实际 虚拟 内 存 到 物理 内 存 的 映射 是 由 我 们 的 虚拟 内 存 管理 系统 来 实现 的 ， 也 就 是 说 ， 虚 拟 内 存 给 进程 或 内 核 提供 了 一 个 它们 独 有 的 几乎 无 


对 于 操作 系统 的 优化 ， 主 要 是 对 一 些 内 核 参 数 及 文件 系统 进行 优化 。 由 于 默认 的 Linux 内 核 参 数 已 经 基本 够 用 ， 


19.2 ”文件 系统 的 优化 


文件 系统 是 一 种 向 用 户 提供 底层 数据 访问 的 机 制 。 它 将 设备 中 的 空间 划分 为 特定 大 小 


常用 的 文件 系统 有 ext3、ext4、XFS 等 ， 你 可 以 检查 Linux 系 统 的 /etc/fstab 文 件 ， 以 


加 


此 本 书 将 只 关注 文件 系统 的 优化 。 


的 块 〈 扇 区 ) ， 一 般 每 块 有 512B。 数 据 存储 在 这 些 块 中 ， 由 文件 系统 软件 来 负责 将 这 些 块 组 织 为 文件 和 目录 , 


定 当前 分 区 使 用 的 是 什么 文件 系统 ，ext3 即 第 三 代 扩 


展 文件 系统 ， 是 一 个 日 志文 件 系统 ， 低 版 本 的 Linux 发 行 上 


文件 系统 使 用 缓存 来 提升 读 性 能 ， 使 用 缓冲 来 提升 写 性 能 。 在 我 们 调整 操作 系统 和 数 


居 库 的 时 候 ， 要 注意 批量 写 入 数据 的 冲击 ， 一 些 系统 会 缓冲 写 数据 几 十 秒 ， 然 后 合并 刷新 到 磁盘 中 ， 这 将 表现 为 


默认 情况 下 ，Linux 会 记录 文件 最 近 一 次 被 读 取 的 时 间 信息 ， 我 们 可 以 在 挂 载 文 件 系统 的 时 候 使 用 noatime 来 提升 性 能 。 为 了 保证 数据 的 安全 ，Linux 默 认 在 进行 数据 提交 的 时 候 强制 底层 设备 刷新 缓 


你 可 能 需要 留意 文件 系统 的 碎片 化 ， 碎 片 化 意味 着 文件 系统 上 的 文件 数据 块 存放 得 不 那么 连续 ， 而 是 以 碎片 化 的 方式 进行 分 布 ， 那 么 顺序 MO 将 得 不 到 好 的 性 能 ， 会 变 成 多 次 随机 I/O。 


所 以 在 某 些 情况 下 ， 使 用 大 数据 块 和 预先 分 配 连 续 的 空间 是 有 道理 的 ， 但 你 也 需要 知道 ， 文 件 碎片 是 一 个 常态 ， 最 


始 的 表 没 有 什么 碎片 ， 但 随 着 你 更 新 和 删除 数据 ， 数 据 表 会 变 得 碎片 化 ， 这 会 是 


Direct MO 人 允许 应 用 程序 在 使 用 文件 系统 的 同时 绕 过 文件 系统 的 缓存 。 你 可 以 用 Direct MO 执行 文件 备份 ， 这 样 做 可 以 避免 缓存 那些 只 被 读 取 一 次 的 数据 。 如 果 应 用 或 数据 库 ， 已 经 实现 了 自己 的 缓 人 


许多 人 期 望 使 用 mmap 的 方式 来 解决 文件 系统 的 性 能 问题 ，mmap 的 方式 有 助 于 我 们 减少 一 些 系 统 调 用 ， 但 是 ， 如 果 我 们 碰 到 的 是 磁盘 1/O 瓶 颈 ， 那 么 减少 一 些 系 统 调用 的 开销 ， 对 于 提升 整体 性 能 


一 般 来 说 ， 文 件 系统 缓存 ， 对 于 MySQL 的 帮助 不 大 ， 可 以 考虑 减 小 文件 系统 缓存 ， 如 


vm.dirty_ratio=5。 


我 们 推荐 在 Linux 下 使 用 XFS 文 件 系 统 ， 它 是 一 种 高 性 能 的 日 志文 件 系统 ， 特 别 擅长 处 理 大 文件 ， 对 比 ext3、ext4，MySQL 在 XFS 上 一 般 会 有 更 好 的 性 能 ， 更 高 的 吞吐 。Red Hat Enterprise Linux 7 


19.3 ”内存 


我 们 需要 了 解 CPU、 内 存 、 固 态 硬盘 及 普通 机 械 硬 盘 访问 速度 的 差异 ， 比 如 内 存 为 几 十 纳 秒 (ns) ， 而 固态 硬盘 大 概 是 25hs (25000ns) ， 而 机 械 硬盘 大 概 是 6 毫秒 (6000000ns) ， 它 们 差 得 不 是 


内 存 往往 是 影响 性 能 最 重要 的 因素 ， 你 应 该 确保 热点 数据 存储 在 内 存 中 ， 较 少 的 内 存 往往 意味 着 更 多 的 MO 压力 。 许 多 应 用 一 般 是 有 热点 数据 的 ， 且 热点 数据 并 不 大 ， 可 以 保存 在 内 存 中 。 对 于 MyS( 


数据 库 服务 器 应 该 只 部 署 数据 库 服务 ， 以 免 被 其 他 程序 影响 ， 有 时 其 他 程序 也 会 导致 内 存 压力 ， 如 占据 大 量 文件 的 系统 缓存 ， 就 会 导致 可 用 内 存 不 够 。 


19.4 CPU 


现实 世界 中 ，CPU 的 技术 发 展 得 很 快 ， 一 颗 CPU 上 往往 集成 了 4/6/8 个 核 ， 由 于 多 核 很 少 会 全 部 利用 到 ， 所 以 一 般 会 在 生产 机 器 上 部 署 多 实例 ， 以 充分 利用 CPU 资源 。 还 可 以 更 进一步 ， 使 用 CPU 绑 ， 


CPU 利用 率 衡量 的 是 在 某 个 时 间 段 ，CPU 忙 于 执行 操作 的 时 间 的 百分比 ， 但 是 ， 许 多 人 不 知道 的 是 ，CPU 利 用 率 高 并 不 一 定 是 在 执行 操作 ， 而 很 可 能 是 在 等 待 内 存 MO。CPU 执 行 指令 ， 需 要 多 个 步 


我 们 对 CPU 时 钟 频率 这 个 主要 的 指标 可 能 有 一 些 误解 。 如 果 CPU 利 用 率 高 ， 那 么 更 快 的 CPU 不 一 定 能 够 提升 性 能 。 也 就 是 说， 如 果 CPU 的 大 部 分 时 间 是 在 等 待 锁 、 等 待 内 存 访问 ， 那 么 使 用 更 快 的 C 


关于 容量 规划 。 


对 于 访问 模式 比较 固定 的 应 用 ， 比 如 一 些 传统 制造 业 的 生产 系统 ， 则 比较 容易 对 CPU 进行 容量 规划 ， 可 以 按照 未 来 的 访问 请 求 或 访问 客户 端 数量 ， 确 定 CPU 需 要 扩容 的 幅度 ， 你 可 以 监控 当前 系统 驮 


如 何 选 购 CPU。 


对 于 企业 用 户 来 说 ，CPU 的 性 能 并 不 是 最 重要 的 ， 最 重要 的 是 性 价 比 ， 新 上 市 的 CPU 往往 价格 偏 贵 ， 一 般 来 说 建议 选择 上 市 已 经 有 一 定时 间 的 CPU。 而 对 于 大 规模 采购 ， 你 需要 衡量 不 同 CPU 的 价 检 


19.5 ‘YO 
19.5.1 概述 


IO 往往 是 数据 库 应 用 最 需要 关注 的 资源 。 作 为 数据 库 管理 人 员 ， 你 需要 做 好 磁盘 /O 的 监控 ， 持 续 优化 VO 的 性 能 ， 以 免 VO 资 源 成 为 整个 系统 的 瓶 巴 。 本 节 将 讲述 一 些 硬 件 维护 人 员 需 要 了 解 的 磁 昔 


一 些 基础 概念 的 介绍 如 下 。 


“ 逻辑 I/O: 可 以 理解 为 是 应 用 发 送 给 文件 系统 的 I/O 指 令 。 


: 物理 I/O: 可 以 理解 为 是 文件 系统 发 送 给 磁盘 设备 的 I/O 指 令 。 


“ 磁盘 IOPS: 每 秒 的 输入 输出 量 〈 或 读 写 次 数 ) ， 是 衡量 磁盘 性 能 的 主要 指标 之 一 。IOPS 是 指 单位 时 间 内 系统 能 处 理 的 1/ 〇 请求 数量 ， 一 般 以 每 秒 处 理 的 I/ 〇 请 求 数量 为 单位 ，I/O 〇 请 求 通常 为 读 或 : 


“ 磁盘 吞吐 : 指 单 位 时 间 内 可 以 成 功 传输 的 数据 数量 。OLAP 应 用 更 看 重 磁盘 吞吐 。 


实践 当中 ， 我 们 要 关注 的 磁盘 /O 的 基本 指标 有 磁盘 利用 率 、 平 均等 待 时 间 、 平 均 服务 时 间 等 。 如 果 磁 盘 利用 率 超过 60%， 则 可 能 导致 性 能 问题 ， 磁 盘 利用 率 往往 是 大 家 容易 忽视 


的 一 个 指标 ， 认 为 和 


Linux 有 4 种 MO 调度 算法 : CFQ、Deadline、Anticipatory 和 NOOP，CFQ 是 默认 的 I/O 调 度 算法 。 在 完全 随机 的 访问 环境 下 ，CFQ 与 Deadline、NOOP 的 性 能 差异 很 小 ， 但 是 一 旦 有 大 的 连续 I/O， 


如 下 命令 将 实时 修改 VO 调 度 算法 : 


echo deadline > /sys/block/sdb/queue/scheduler 


如 果 你 需要 永久 生效 ， 则 可 以 把 命令 写 入 /etcy/rc.local 文 件 内 ， 或 者 写 入 grub.conf 文 件 中 。 


19.5.2 ”传统 磁盘 


传统 磁盘 本 质 上 是 一 种 机 械 装置 ， 影 响 磁盘 的 关键 因素 是 磁盘 服务 时 间 ， 即 磁盘 完成 一 个 MO 请 求 所 花费 的 时 间 ， 它 由 寻 道 时 间 、 旋 转 延 迟 和 数据 传输 时 间 三 部 分 构成 。 


一 般 读 取 磁 盘 的 时 候 ， 步 骤 如 下 。 


1) 寻 道 : 磁头 移动 到 数据 所 在 的 磁道 。 


2) 旋转 延迟 : 盘 片 旋转 将 请 求 数据 所 在 的 扇 区 移 至 读 写 磁 头 下 方 。 


3) 传输 数据 。 


一 般 随机 读 写 取决 于 前 两 个 步骤 ， 而 大 数据 顺序 读 写 更 多 地 取决 于 第 3) 个 步骤 ， 


由 于 固 


态 硬盘 消除 了 前 两 个 步骤 ， 所 以 在 随机 读 写 上 会 比 传统 机 械 硬盘 的 IOPS 高 得 多 。 


优化 传统 磁盘 随机 读 写 ， 也 就 是 优化 寻 道 时 间 和 旋转 延迟 时 间 ， 一 些 可 供 考虑 的 措施 有 缓存 、 分 离 负 载 到 不 同 的 磁盘 、 硬 件 优化 减少 延 时 及 减少 震荡 等 。 比 如 ， 操 作 系统 和 数据 库 使 用 的 是 不 同 的 盘 


对 于 数据 库 类 应 用 ， 传 统 磁盘 一 般 做 了 RAID， 那 么 RAID 卡 自身 也 可 能 会 成 为 整个 系统 的 瓶颈 ， 也 需要 考虑 优化 。 


19.5.3 关于 RAID 


几 种 常用 的 RAID 类 型 如 下 。 


“ RAID0: 将 两 个 以 上 的 磁盘 串联 起 来 ， 成 为 一 个 大 容量 的 磁盘 。 在 存放 数据 时 ， 数 据 被 分 散 地 存储 在 这 些 磁盘 中 ， 因 为 读 写 时 都 可 以 并 行 处 理 ， 所 以 在 所 有 的 级 别 中 ，RAID 0 的 速度 是 最 快 的 。 但 


“ RAID1: RAID 1 就 是 镜像 ， 其 原理 为 在 主 硬盘 上 存放 数据 的 同时 也 在 镜像 硬盘 上 写 一 样 的 数据 。 当 主 硬盘 (物理 ) 损坏 时 ， 镜 像 硬盘 则 代替 主 硬盘 工作 。 因 为 有 镜像 硬盘 做 数据 备份 ， 所 以 RAID 


“ Raid10: 指 的 是 RAID1+0，RAID1 提 供 了 数据 镜像 功能 ， 保 证 数据 安全 ，RAID0 把 数据 分 布 到 各 个 磁盘 ， 提 高 了 性 能 。 


“ RAID5: 是 一 种 性 能 、 安 全 和 成 本 兼顾 的 存储 解决 方案 。RAID 5 至 少 需要 3 块 硬盘 ，RAID 5 不 是 对 存储 的 数据 进行 备份 ， 而 是 把 数据 和 相对 应 的 奇偶 校 验 信息 存储 到 组 成 RAID5 的 各 个 磁盘 上 。 当 ] 


几 种 RAID 的 区 别 如 下 。 


1) RAID10 理 论 上 可 以 提供 比 RAID5 更 好 的 读 写 性 能 因为 它 不 需要 进行 奇偶 性 校 验 。RAID 5 具有 和 RAID 0 相近 似 的 数据 读 取 速度 ， 只 是 因为 多 了 一 个 奇偶 校 验 信息 ， 写 入 数据 的 速度 相对 单独 写 入 - 


2) RAID10 提 供 了 更 高 的 安全 性 。RAID5 只 能 坏 一 块 盘 ，RAID10 视 情况 而 定 ， 最 多 可 以 坏 一 半数 量 的 硬盘 。 


3) RAID5 成 本 更 低 ， 也 就 是 说 空间 利用 率 更 高 。RAID 5 可 以 理解 为 是 RAID 0 和 RAID 1 的 折 中 方案 。RAID 5 可 以 为 系统 提供 数据 安全 保障 ， 但 保障 程度 要 比 镜像 低 而 磁盘 空间 利用 率 要 比 镜像 高 ，f 


以 上 的 区 别 是 一 些 理论 上 的 说 明 ， 实 际 情况 可 能 还 会 因为 算法 、 缓 存 的 设计 而 不 同 。 


我 们 是 使 用 多 个 RAID， 还 是 使 用 一 个 大 RAID， 将 取决 于 我 们 是 否 有 足够 多 的 磁盘 。 如 果 我 们 有 许多 盘 ， 比 如 超过 10 多 块 盘 ， 那 么 我 们 使 用 多 个 阵列 ， 是 可 取 的 ; 而 如 果 你 只 有 几 块 盘 ， 比 如 6 块 盘 ， 


RAID 卡 有 两 种 写 入 策略 : Write Through 和 Write Back。 


:Write Through: 将 数据 同步 写 入 缓存 ( 若 有 Cache 的 情况 ) 和 后 端的 物理 磁盘 。 


“ Write Back: 将 数据 写 入 缓存 ， 然 后 再 批量 刷新 到 后 端的 物理 磁盘 。 


一 般 情况 下 ， 对 于 带电 池 模 块 的 RAID 卡 ， 我 们 将 写 入 策略 设置 为 Write Back。 写 缓存 可 以 大 大 提高 MO 性 能 ， 但 由 于 掉 电 会 丢失 数据 ， 所 以 需要 用 带电 池 的 RAID 卡 。 


如 果 电 池 模块 异常 ， 那 么 为 了 数据 安全 ， 会 自动 将 写 入 策略 切换 为 Write Through， 由 于 无 法 利用 缓存 写 操 作 ， 因 此 写 入 性 能 会 大 大 降低 。 一 般 的 RAID 卡 电池 模块 仅仅 保证 在 服务 器 掉 电 的 情况 下 ， 


如 果 我 们 碰 到 MO 瓶颈 ， 我 们 需要 更 强劲 的 存储 。 普 通 的 PC 服务 器 加 传统 磁盘 RAID (一 般 是 RAID 1+0) 加 带电 池 的 RAID 卡 ， 是 一 种 常见 的 方案 。 


在 RAID 的 设置 中 ， 我 们 需要 关闭 预 读 ， 磁 盘 的 缓存 也 需要 被 关闭 。 同 样 的， 你 需要 关闭 或 减少 操作 系统 的 预 读 。 


得 54 关于 SSD 


SSD 也 称 为 固态 硬盘 ， 目 前 SSD 设 备 主要 分 为 两 类 ， 基 于 PCI-E 的 SSD 和 普通 SATA 接 口 的 SSD，PCE-E SSD 卡 性 能 高 得 多 ， 可 以 达到 几 十 万 IOPS， 容 量 可 以 达到 几 个 TB 以 上 ， 常 用 的 品牌 有 Fusion-i 


由 于 许多 公司 的 SSD 的 I/O 资 源 往往 运行 不 饱和 和 ， 因 此 SSD 的 稳定 、 性 能 一 致 、 安 全 、 寿 命 显得 更 重要 ， 而 性 能 可 能 不 是 最 需要 考 


呈 
号 
| 


素 。 依 据 笔 者 的 使 用 经 验 ， 许 多 SSD 的 设备 故障 ， 其 原因 并 不 


传统 的 机 械 硬盘 ， 瓶 矣 往往 在 于 /MO， 而 在 使 用 了 固态 硬盘 之 后 ， 整 个 系统 的 瓶颈 开始 转向 CPU， 甚 至 在 极端 情况 下 ， 还 会 出 现 网 络 瓶颈 。 由 于 固态 硬盘 的 性 能 比较 优越 ，DBA 不 再 像 以 前 那样 需要 # 


传统 的 文件 系统 已 经 针对 传统 的 机 械 磁盘 阵列 有 许多 优化 ， 所 以 想 在 


上 再 做 一 些 软件 层 的 优化 和 算法 设计 ， 很 可 能 会 费力 不 讨好 ， 但 是 如 果 是 SSD 设 备 ， 则 另 当 别 论 ， 用 好 了 SSD 设 备 ， 可 能 可 以 : 


19.6 ”网络 


对 于 数据 库 应 用 来 说， 网 络 一 般 不 会 成 为 瓶 ，CPU 和 I/O 更 容易 成 为 瓶颈 。 网 络 的 瓶颈 一 般 表 现 为 流量 超过 物理 极限 ， 如 果 超 过 了 单 块 网 卡 的 物理 极限 ， 那 么 你 可 以 考虑 使 用 网 卡 绑 定 的 技术 增加 


网 络 瓶 颈 也 可 能 因为 网 络 包 的 处 理 而 导致 CPU 瓶颈 。 交 换 机 和 路 由 器 通过 微 处 理 器 处 理 网 络 包 ， 它 们 也 可 能 会 成 为 瓶颈 ， 对 了 


网 络 端口 ， 也 可 能 会 成 为 瓶颈 所 在 ， 不 过 这 种 情况 很 少见 ， 即 使 是 有 大 量 短 连接 的 场合 。 首 先 你 需要 优化 连接 ， 减 少 短 连接 ， 或 者 使 用 连接 池 ， 


在 进行 网 络 优化 之 前 ， 我 们 需要 清楚 自己 的 网 络 架构 ， 了 解 你 应 用 的 网 络 数 拉 


你 需要 意识 到 ， 跨 IDC 的 网 络 完全 不 能 和 IDC 内 网 的 质量 相 比 ， 


居 流 路 径 ， 比 如 是 否 经 过 了 DNS 服务 器 ， 你 需 


主机 来 说 ， 如 果 对 于 网 络 包 的 处 理 没有 一 个 CPU 负载 均衡 策略 ， 那 么 区 


区 
对 


[果实 在 优化 不 下 去 了 ， 可 以 考虑 修改 系统 的 内 核 参 


使 用 网 络 监控 工具 比如 Cacti 监 控 流量 ， 在 超过 一 定 立 值 或 有 丢 包 的 情况 


速度 也 可 能 会 成 为 问题 ， 跨 IDC 复 制 ， 其 实 本 质 上 是 为 了 安全 ， 是 为 了 在 其 他 机 房 中 有 一 份 数 据 ， 而 不 是 为 了 实时 同步 ， 也 不 能 要 3 


所 以 ， 如 果 你 不 得 不 进行 跨 IDC 的 数据 库 同 步 ， 或 者 让 应 用 程序 远程 访问 数据 库 ， 那 么 你 需要 确保 你 的 应 用 程序 能 够 处 理 网 络 异常 ， 你 需 


确认 由 于 跨 IDC 网 络 异 常 导致 的 复制 延 时 不 致 影响 到 业务 。 


当 有 新 的 连接 进来 时 ，MySQL 主 线程 需要 花 一 些 时 间 (尽管 很 少 ) 来 检查 连接 并 启动 一 个 新 的 线程 ，MySQL 有 一 个 参数 back log 来 指定 在 停止 响应 新 请 求 前 在 短 时 间 内 可 以 堆 起 多 少 请 求 ， 你 可 以 


Os 本 章 介绍 了 文件 系统 及 硬件 的 一 些 知 识 。 读 者 平时 应 该 关注 资源 的 使 用 情况 ， 并 跟踪 硬件 的 发 展 。 通 过 对 操作 系统 的 观察 ， 如 资源 的 使 用 情况 和 报错 日 志 ， 在 菜 些 情况 下 更 容易 发 现 程序 


[1 英里 =1.609 千 米 。 编辑 注 


第 20 章 可 扩展 的 架构 


本 章 将 为 读者 讲述 可 扩展 的 架构 相关 的 知识 和 技术 。 可 扩展 的 架构 意味 着 这 个 架构 伸缩 性 好 ， 我 们 可 以 用 更 多 的 节点 来 提高 吞吐 率 ， 而 性 能 不 会 下 降 到 不 可 接受 的 范围 。 互 联网 世界 飞速 发 展 ， 数 据 


20.1 ”做 好 容量 规划 


做 好 容量 规划 ， 也 就 是 收集 足够 的 信息 ， 看 系统 如 何 处 理 负载 ， 如 果 负 载 增加 时 ， 系 统 应 该 如 何 扩展 。 


容量 规划 往往 基于 我 们 对 于 业务 的 理解 ， 业 务 发 展 得 如 何 ， 我 们 


研究 资源 限制 的 方式 是 ， 首 先 ， 我 们 要 衡量 服务 的 请 求 数 ， 监 视 


如 上 的 方法 ， 难 点 之 一 在 于 如 何 将 业务 的 指标 转换 为 应 用 服务 器 | 


研究 影响 的 因素 是 指 ， 研 究 数据 量 增长 、 事 务 吞吐 等 会 影响 到 资源 使 用 的 因 


其 增长 速率 ， 然 后 衡量 硬件 和 软件 的 资源 使 用 情况 ， 监 控 其 


的 应 用 需要 怎样 的 性 能 目标 ? 通过 研究 资源 的 限制 和 影响 的 因素 ， 制 订 自己 的 容量 规划 。 


第 
术 
下 
光 


的 访问 请 求 ， 


再 转换 为 数 


居 库 的 QPS， 你 需要 熟悉 业务 ， 或 者 说 需要 数据 


， 然 后 可 以 把 请 求 数 的 增长 和 资源 的 使 用 映射 起 来 ， 推 断 在 目前 


库 的 维护 人 员 和 研发 人 员 、 产 品 人 员 一 起 探讨 ， 确 定 未 来 的 


素 ， 现 实 中 ， 特 别 是 互联 网 应 用 ， 往 往 低估 了 数据 量 的 增长 和 事务 的 增长 。 所 以 前 期 要 尽 可 能 多 地 收集 信息 ， 了 解 你 的 实 


还 需要 考虑 故障 情况 下 的 系统 使 用 ， 对 于 海量 高 并 发 的 应 用 ， 要 注意 其 他 组 件 的 失效 影响 ， 要 清楚 现实 系统 中 可 能 包括 了 各 种 组 件 ， 有 负载 均衡 设备 、Web 服 务 器 、 应 用 服务 器 、Cache 服 务 器 (如 


以 上 主要 叙述 的 是 随 着 应 用 规模 不 断 增加 的 情况 下 的 扩容 考虑 ， 现 实 中 ， 我 们 还 需要 关注 磁盘 空间 、 内 存 等 单一 资源 的 扩展 ， 由 于 它们 相对 比较 简单 ， 因 此 这 里 将 不 再 蓝 述 。 


20.2 ”扩展 和 拆 分 


在 互联 网 的 架构 设计 中 ， 一 个 关键 的 衡量 指标 就 是 系统 的 可 扩展 性 ， 也 称 为 伸缩 性 ， 指 的 是 系统 不 断 增 加 


承载 能 力 的 能 力 。 在 业务 的 高 速 发 展 中 ，IT 系 统 不 应 该 成 为 整个 公司 的 瓶颈 。 


扩展 可 简单 地 分 为 以 下 两 类 。 


1. 向 上 扩展 (scale up) 


相对 而 言 ， 这 是 更 简单 的 方式 ， 你 应 该 优先 使 用 该 方式 ， 一 般 情况 下 向 上 扩展 就 足够 了 ， 但 如 果 向 上 扩展 的 代价 太 大 了 ， 那 么 它 就 不 可 取 了 。 向 上 扩展 总 是 有 极限 的 ， 比 如 ， 你 可 以 不 断 地 增加 CPU 


目前 MySQL 能 充分 利用 的 资源 是 有 限制 的 ， 比 如 主机 使 用 的 是 256 GB 内 存 、32 核 、 一 个 PCI-E Flash 卡 一 般 就 足够 了 ， 如 果 超 过 了 这 个 硬件 成 本 ， 即 使 有 性 能 上 的 提升 ， 但 成 本 上 可 能 就 不 合算 了 。 


对 于 一 些 应 用 类 型 ， 比 如 复杂 的 查询 ， 即 使 再 昂贵 的 硬件 也 无 济 于 事 ， 因 为 性 能 更 受 限 制 于 体系 架构 ， 你 的 体系 架构 无 法 充分 利用 到 你 的 硬件 资源 。 所 以 笔者 建议 ， 在 做 扩展 之 前 ， 要 先 确认 你 已 经 


2. 横 向 扩展 


横向 扩展 也 称 为 水 平 扩展 (scale out) ， 是 指 通过 副本 、 垂 直 拆 分 、 水 平 拆 分 的 方式 ， 把 不 同 的 数据 放 到 不 同 的 节点 中 ， 我 们 所 说 的 节点 指 的 是 物理 部 署 的 MySQL 实 例 。 


副本 比较 好 理解 ， 一 般 是 指 增加 数据 库 的 从 库 (复制 副本 ) ， 通 过 分 担 一 部 分 读 的 流量 到 从 库 上 ， 扩 展 整 个 系统 的 处 理 能 力 ， 也 就 是 我 们 常 说 的 读 写 分 离 ，20.3 节 我 们 将 详 述 读 写 分 离 。 


遇 


E 直 拆 分 指 的 是 按 功 能 模块 划分 数据 ， 采 用 这 种 方式 的 多 个 数据 库 之 间 的 表 结构 不 一 样 。 比 如 一 个 电 商 网 站 ， 可 能 有 库存 管理 的 数据 ， 也 有 用 户 相关 的 数据 ， 它 们 属于 不 同 的 功能 ， 可 以 拆 分 到 不 同 


对 于 更 微观 的 层级 ， 数 据 表 可 以 按 字段 划分 数据 : 大 字段 和 字段 访问 频率 相对 于 表 中 其 他 低 很 多 的 字段 更 适合 从 表 中 垂直 分 拆 出 去 ， 通 过 减少 MO 资源 消耗 来 达到 优化 性 能 的 目的 。 


水 平 拆 分 (sharding) 指 的 是 将 同一 个 表 中 的 数据 进行 分 片 保存 到 不 同 的 数据 库 中 ， 一 般 实 现 为 数据 库 内 的 分 表 设 计 ， 这 些 数据 库 中 的 表 的 结构 一 般 都 是 相同 的 。 当 内 存 、 磁 盘 空间 、 磁 盘 /O、 了 网 


如 果 预 知 数据 会 有 一 个 爆炸 式 的 增长 ， 那 么 可 以 直接 从 单 节 点 过 渡 到 分 片 (sharding) 结构 。 而 不 是 经 过 许多 垂直 拆 分 ， 导 致 架构 变 得 复杂 、 难 看 。 


市 场 中 已 经 有 一 些 数据 库 中 间 层 产品 ， 或 者 一 些 去 数据库， 宣称 能 够 将 数据 透明 地 拆 分 到 不 同 的 节点 中 ， 可 完美 地 实现 水 平 扩展 ， 现 实 使 用 中 ， 这 样 的 产品 可 能 会 有 各 种 限制 ， 而 且 效 率 不 高 。 通 过 


进行 数据 分 片 设 计 的 一 个 重要 步骤 是 确定 sharding key， 常 见 的 有 用 户 ID， 比 如 ， 我 们 可 以 通过 对 用 户 1D 进 行 散 列 ， 把 数据 分 布 到 不 同 的 节点 中 。 


大 部 分 应 用 ， 使 用 一 些 简单 的 算法 进行 分 库 分 表 的 路 由 ， 准 备 10 倍 到 20 倍 的 扩展 ，1 到 2 年 的 扩展 即 可 ， 也 就 是 说 ， 我 们 把 分 库 分 表 的 逻辑 直接 写 在 程序 里 ， 使 用 mod、crc32 等 散 列 算法 即 可 。 许 多 


如 果 预 见 到 数据 和 负载 会 有 爆炸 式 的 增长 ， 那 么 更 值得 推荐 的 方式 是 设计 一 张 路 由 表 ， 里 面 存储 数据 到 后 端 物理 节点 的 路 由 信息 。 这 样 的 实现 方法 有 一 个 好 处 ， 我 们 可 以 达到 一 个 效果 ， 前 端 有 许多 


如 下 是 设计 和 维护 分 片 需要 注意 的 一 些 要 点 。 


1) 确保 最 重要 最 频繁 的 查询 访问 尽 可 能 少 的 节点 ， 不 仅 要 方便 存储 数据 ， 还 要 确保 数据 读 取 方便 高 效 。 


2) 要 避免 单个 节点 的 资源 超过 限制 ， 要 有 足够 的 监控 和 预警 措施 ， 各 分 片 的 数据 也 可 能 会 不 均衡 ， 你 需要 及 时 发 现 这 种 情况 ， 并 进行 调整 。 


3) 分 片 数量 要 合适 ， 要 有 利于 负载 均衡 和 进行 维护 ， 比 如 修改 表 结 构 。 分 片 数量 也 不 能 过 多 ， 过 多 可 能 会 导致 一 些 异 常 问 题 ， 比 如 ， 一 个 简单 的 查询 要 访问 多 个 分 片 响应 会 变 得 很 慢 。 需 要 说 明 的 - 


节点 的 个 数 和 分 片 的 数量 有 赖 于 DBA 和 研发 、 产 品 等 团队 一 起 讨论 确定 ， 互 联网 应 用 数据 的 容量 规划 在 很 多 情况 下 都 不 是 很 清晰 ， 这 是 现实 ， 所 以 应 尽 可 能 地 沟通 信息 ， 掌 握 足 够 的 数据 是 有 必要 能 


4) 分 片 之 后 ， 表 之 间 的 连接 会 比较 困难 ， 你 需要 尽量 避免 连接 ， 或 者 采用 更 合适 的 方案 来 组 合 数据 ， 比 如 ， 我 们 可 以 设 定 多 个 sharding key， 使 用 不 同 的 sharding key 匈 余 多 份 数 据 ， 以 做 到 ) 减 少 j 


5) 热点 数据 可 能 会 导致 性 能 问题 ， 可 能 需要 调整 sharding key 或 算法 ， 将 数据 切割 为 更 小 的 分 片 ， 如 果 对 于 复制 延 时 要 求 不 高 ， 也 可 以 利用 从 节点 来 扩展 读 的 能 力 。 


6) 应 确保 节点 的 快速 恢复 ， 比 如 对 于 单 点 故障 ， 你 可 以 自动 路 由 到 正常 的 节点 ， 或 者 是 提供 开关 降级 服务 ， 比 如 提供 一 个 只 读 的 节点 ， 用 于 保障 部 分 功能 可 用 。 


注意 ， 可 扩展 并 不 是 要 构建 一 个 完美 的 扩展 架构 ， 而 是 应 用 程序 真 的 需要 进行 扩展 时 ， 才 考虑 扩展 ， 我 们 要 预先 规划 ， 即 使 在 以 后 规模 变 得 很 大 的 时 候 ， 系 统 也 仍然 能 够 提供 合格 的 服务 。 


20.3 ” 读 写 分 离 


读 写 分 离 指 的 是 ， 通 过 增加 一 些 节点 ， 扩 展 读 的 能 力 。 这 些 节 点 可 以 是 主 节 点 的 全 部 内 容 的 副本 或 部 分 内 容 的 副本 ， 也 可 以 是 缓存 产品 。 读 写 分 离 一 般配 合 负载 均衡 产品 一 起 使 用 。 


对 于 读 多 写 少 ( 非 更 新 查询 为 主 ) 的 负载 ， 特 别 适合 做 读 写 分 离 。 需 要 留意 的 是 ， 要 保证 用 户 感知 到 自己 所 做 的 变更 有 效 即 可 ， 用 户 在 很 多 情况 下 并 不 需要 知道 


他 用 户 的 改变 。 如 果 用 户 对 于 数据 


读 写 分 离 往往 和 负载 均衡 技术 配合 使 用 。 负 载 均衡 软 硬 件 产品 有 F5、Haproxy 及 一 些 自己 设计 的 MySQL Proxy 代 理 等 ， 负 载 均衡 可 以 更 高 效 地 利用 硬件 ， 你 可 以 设置 权重 ， 分 配 更 多 的 流量 给 性 能 


读 写 分 离 技术 的 一 个 难点 在 于 延 时 的 影响 ， 你 需要 有 一 个 手段 来 确保 你 没有 读 取 到 太 旧 的 数据 ， 写 操作 和 一 些 不 能 容忍 延 时 的 查询 ， 需 要 指向 主 库 。 对 于 数据 延 时 敏感 度 不 高 的 数据 ， 你 需要 定义 延 


你 可 以 通过 监控 SHOW SLAVE STATUS 里 的 输出 Seconds_behind_master 的 方式 判断 是 否 有 延 时 ， 但 这 种 方式 不 太 可 靠 。 监 控 复制 滞后 (replication lag) 更 稳健 的 方式 是 通过 心跳 表 的 方式 。 


我 们 很 难 确保 MySQL 的 延 时 ， 


因为 网 络 波动 、 复 制 异 常 、 性 能 问题 等 都 可 能 导致 复制 中 断 ， 而 往往 需要 人 工 来 进行 干预 ， 毕 竟 有 能 力 开发 专用 的 Proxy 代 理 的 公司 很 少 ， 所 以 ， 不 建议 使 用 读 写 分 离 


20.4” 切 勿 过 度 设计 


由 于 没有 好 的 读 写 分 离 的 方案 ， 如 果 你 一 定 要 使 用 读 写 分 离 ， 那 么 推荐 应 用 程序 自身 实现 读 写 分 离 ， 把 读 的 流量 指向 负载 均衡 产品 或 Proxy 代 理 。 


过 度 设计 ， 指 的 是 你 的 设计 过 度 地 考虑 了 未 来 的 一 些 需求 ， 或 者 根本 就 是 想象 出 来 的 需求 。 


出 


现实 中 ， 我 们 对 于 数据 的 量化 往往 做 得 还 不 够 。 我 们 要 设计 一 个 可 扩展 的 架构 ， 但 由 于 没有 进行 足够 的 量化 分 析 ， 往 往 导 致 了 过 度 设计 ， 比 如 采购 了 过 多 的 硬件 设备 。 可 扩展 的 目标 的 设 定 很 本 


你 需要 衡量 是 否 要 预先 进行 分 片 ， 现 实 中 ， 往 往 会 出 现 的 一 种 情况 是 ， 研 发 人 员 不 熟悉 硬件 性 能 极限 和 业务 增长 ， 扩 展 太 多 ， 比 如 分 库 太 多 ， 导 致 整个 方案 变 得 复杂 和 成 本 高 晶 ， 所 以 ， 如 果 需 要 进 


可 扩展 性 是 建立 在 数据 规划 的 基础 上 的 ， 所 以 你 要 熟悉 你 的 业务 ， 熟 悉 业务 需要 存 取 的 数据 的 行为 ， 我 们 在 架构 的 初期 ， 就 应 该 确定 数据 的 规模 和 访问 的 特点 ， 可 以 考虑 的 一 些 因素 具体 如 下 。 


. 各 种 操作 的 频率 ， 比 如 读 (SELECT) 的 次 数 和 INSERT 事 务 的 次 数 。 


“ 峰值 时 刻 的 事务 数 。 


“ 查询 是 简单 的 还 是 复杂 的 ， 各 自 的 比例 如 何 。 


.并 发 连接 数 。 


“ 数据 量 ， 可 以 预 估 1~2 年 后 的 数据 量 。 


“ 数据 的 重要 程度 。 


“ 数据 保留 和 清理 的 策略 。 


以 上 因素 大 部 分 是 从 运 维 的 角度 来 考虑 的 ， 数 据 架 构 的 时 候 ， 你 还 需要 细 化 到 具体 的 数据 和 具体 的 访问 数据 的 行为 ， 比 如 ， 你 需要 特别 关注 访问 量 最 大 、 频 率 最 高 的 一 些 查询 ， 优 先 对 这 部 分 数据 进 


需要 明确 的 是 ， 互 联网 公司 不 同 于 传统 企业 ， 传 统 企业 的 业务 类 型 比较 固定 ， 一 般 不 会 做 变动 ， 熟 悉 业务 的 系统 架构 人 员 、 开 发 人 员 可 以 比较 准确 地 进行 性 能 规划 ， 合 理 安排 扩容 的 资源 。 但 互联 网 


一 般 来 说 ， 我 们 已 知 的 一 些 传统 的 性 能 规划 的 理论 ， 并 不 适用 于 互联 网 公司 不 断 变化 和 发 展 的 应 用 ， 利 用 简单 的 基准 测试 来 进行 性 能 规划 也 是 不 切实 际 的 ， 因 为 很 难 模拟 真实 的 负荷 。 比 如 我 们 经 过 


20.5 ”可 扩展 的 方法 


确保 可 扩展 有 许多 方法 ， 如 果 具 体 到 某 一 个 产品 ， 那 么 也 要 有 各 种 各 样 的 手段 ， 这 里 主要 从 更 宽泛 的 角度 去 讨论 一 下 可 扩展 的 方法 ， 比 如 静态 内 容 、 动 态 内 容 、 网 络 应 该 如 何 做 到 可 扩展 ， 以 及 可 扩 


20.5.1 优化 静态 内 容 、 动 态 内 容 


首先 要 分 离 静 态 内 容 和 动态 内 容 ， 分 离 了 静态 内 容 和 动态 内 容 之 后 ， 我 们 才 可 以 分 别 进行 优化 ， 选 择 更 适合 的 应 用 服务 器 ， 比 如 Nginx 更 适合 静态 文件 ， 而 Apache 相 对 来 说 更 适合 动态 内 容 。 某 些 表 


对 于 海量 流量 的 应 用 ， 用 更 合适 的 产品 来 处 理 特 


完全 静态 化 是 不 现实 的 ， 往 往 需要 通过 模板 的 方式 ， 我 们 有 必要 了 解 我 们 所 维护 的 项 目的 静态 化 策略 。 不 同 的 应 用 服务 器 适合 处 理 不 同 的 内 容 ， 尤 


静态 内 容 优化 的 主要 的 技术 是 CDN 技 术 ，CDN 的 目的 是 将 网 站 的 内 容 发 布 到 最 接近 用 户 的 网 络 位 置 ， 使 用 户 可 以 就 近 取 得 


动态 内 容 优化 的 一 些 方法 和 指引 规则 具体 如 下 。 


所 需 的 内 容 ， 


“ 计算 复 用 : 计算 复 用 指 的 是 ， 通 过 一 些 编程 技巧 ， 可 以 重复 利用 之 前 的 计算 结果 ， 加 快 执行 效率 。 计 算 复 用 并 不 适合 应 用 于 复杂 的 算法 操作 ， 在 日 常 的 许多 编程 中 ， 都 可 能 碰 到 ， 如 果 有 一 些 操 作 


“ 使 用 缓存 : 缓存 系统 缓存 了 程序 处 理 的 结果 ， 它 可 以 减少 对 后 端的 调用 。 


“ 同样 的 内 容 不 要 产生 两 次 : 因为 数据 是 可 以 被 缓存 的 ， 无 论 缓存 在 服务 器 还 是 客户 端 ， 我 们 都 不 需要 重复 产生 相同 的 内 


容 ， 因 为 这 样 会 浪费 系统 资源 


“ 仅 在 数据 发 生 改 变 时 ， 重 新 生成 内 容 : 有 时 我 们 想 生成 一 些 静 态 文件 ， 提 高 访问 效率 ， 相 对 于 重新 生成 所 有 的 文件 ， 仅 重新 生成 数据 发 生 了 改变 的 页 面 ， 是 成 本 更 低 的 方式 。 


: 将 系统 切割 为 更 小 的 组 件 ， 分 离 频繁 变更 的 部 分 和 不 经 常 变动 的 部 分 。 


:减少 对 数据 库 的 调用 : 相对 于 应 用 服务 器 ， 数 据 库 的 可 扩展 性 更 低 ， 减 少 对 数据 库 的 调用 ， 可 以 让 数据 库 没 那么 可 能 成 为 整个 系统 的 瓶颈 所 在 。 


“ 对 于 缓存 产品 ， 如 Memcached， 需 要 留意 缓存 策略 ， 比 如 ， 超 时 的 设置 或 设置 得 过 小 ， 会 导致 数据 库 的 压力 。 更 有 效率 的 做 法 是 ， 在 数据 内 容 发 生 改 变 的 时 候 ， 才 通知 缓存 失效 。 


“ 对 于 一 些 变化 非常 频繁 的 内 容 ， 几 乎 没有 缓存 的 必要 ， 这 个 时 候 有 必要 和 产品 经 理 、 用 户 体 验 设 计 师 、 前 端 和 后 端的 研发 人 员 一 起 来 考虑 问题 ， 是 否 可 以 减少 变化 的 可 能 性 。 


20.5.2 ”网 络 优化 


关于 网 络 优化 的 参数 ， 这 里 就 不 展开 齐 了 ， 笔 者 很 少 调 优 网 络 相关 的 内 核 参数 。 下 面 将 叙述 一 些 网 络 相关 的 注意 事项 ， 


体 如 下 。 


:我们 需要 了 解数 据 流 ， 清 楚 我 们 的 网 络 架构 ， 这 样 有 助 于 我 们 进行 分 析 ， 在 哪些 环节 可 能 存在 网 络 问题 ， 哪 些 环节 可 以 优化 。 比 如 用 户 最 开始 发 起 访问 ， 一 般 要 有 DNS 查询 的 环节 ， 那 么 我 们 是 否 


: 应 用 服务 器 处 出 现 网 络 瓶 颈 的 可 能 性 远大 于 数据 库 ， 数 据 库 一 般 网 络 流量 很 小 。 


“ 现实 中 ， 优 化 网 络 的 行为 很 少 ， 这 个 主要 是 因为 绝 大 部 分 项 目 在 还 远 远 没有 到 达 网 络 瓶颈 的 时 候 就 暴露 出 架构 的 问题 了 


“ 跨 IDC 的 网 络 质量 不 能 和 内 网 质量 相 比 ， 对 于 跨 IDC 的 网 络 ， 两 个 节点 之 间 来 回 往往 需要 几 十 毫秒 ， 节 点 之 间 的 各 种 设备 〈 路 由 器 、 交 换 机 等 ) 都 可 能 影响 到 网 络 质量 ， 运 维 比 研发 人 员 要 更 加 意 


20.5.3 ” 解 耦 


解 克 是 确保 可 扩展 的 架构 的 最 重要 的 技术 之 一 。 


许多 知名 的 网 站 和 服务 ， 采 取 的 都 是 一 种 松散 耦合 的 服务 导向 的 模型 ， 比 如 Twitter、Amazon 等 。 这 种 松散 耦合 的 服务 ， 


解 耦 的 方法 具体 如 下 。 


1) 异步 。 


可 以 尽快 发 布 新 特性 。 小 型 的 团队 可 以 自己 制定 决策 ， 发 布 面 向 用 户 的 变 豆 


异步 指 的 是 ， 有 些 操作 并 不 需要 要 马上 去 做 ， 而 是 可 以 延迟 到 以 后 再 做 ， 因 为 这 并 不 会 影响 用 户 的 体验 。“ 异 步 ”的 字面 


意思 可 能 会 导致 混淆 ，“ 异 步 ”并 不 是 说 一 定 要 把 工作 推迟 到 以 后 去 完成 〈 


2) 把 业务 逻辑 分 解 为 更 小 的 部 分 ， 分 而 治之 。 隔 离 那些 可 以 异步 操作 的 部 分 。 


通过 把 系统 分 解 为 更 小 的 部 分 ， 我 们 可 以 做 到 如 下 几 点 。 


“ 简化 问题 ， 原 来 一 个 复杂 的 还 辑 ， 我 们 可 以 将 其 分 解 为 一 些 更 简单 的 问题 。 


“ 故障 隔离 ， 针 对 更 小 的 系统 ， 我 们 


: 分 解 我 们 的 方法 、 策 略 和 实现 ， 这 


可 以 针对 性 地 设计 处 理 策略 ， 某 个 子 系统 的 故障 不 会 影响 到 其 他 的 子 系统 ， 其 他 子 系统 仍然 可 以 正常 地 运行 。 


个 比较 好 理解 ， 分 解 为 更 小 的 部 分 ， 我 们 的 复杂 的 方法 、 策 略 和 实现 就 变 成 了 更 小 的 问题 。 


“ 简化 我 们 的 设计 ， 我 们 把 复杂 的 问题 分 解 为 简单 的 问题 ， 那 么 设计 也 会 变 得 相对 简单 得 多 了 。 


“ 更 好 地 建立 性 能 模型 ， 因 为 能 够 更 


3) 使 用 消息 队列 。 


这 个 和 上 面 所 说 的 异步 ， 是 结合 在 一 起 的 ， 利 用 消息 队列 可 以 很 好 地 异步 处 理 数 拉 


准确 地 衡量 影响 性 能 的 因素 ， 从 而 可 以 简化 容量 规划 。 容 量规 划 其 实 不 是 一 件 容易 的 事情 ， 你 首先 得 有 一 个 性 能 模型 ， 如 果 影 响 性 能 的 因素 有 很 多 ， 那 么 你 这 个 


居 传 送 和 存储 ， 我 们 把 需要 完成 的 工作 的 信息 用 队列 进行 传送 ， 这 样 就 可 以 实现 异步 幕后 处 理 队列 了 。 也 就 是 说 ， 我 


互联 网 应 用 大 量 地 使 用 了 消息 队列 。 消 息 队列 不 仅 被 用 于 系统 内 部 组 件 之 间 的 通信 ， 同 时 也 被 用 于 系统 跟 其 他 服务 之 间 的 交互 。 当 你 频繁 地 向 数据 库 中 插入 数据 、 频 繁 地 向 搜索 引擎 提交 数据 时 ， 就 


消息 队列 的 使 用 可 以 增加 系统 的 可 扩 


消息 队列 有 许多 解决 方案 ， 有 许多 正在 广泛 使 用 的 产品 ， 许 多 互联 网 公司 基于 自身 的 业务 特点 ， 设 计 了 满足 内 部 需求 的 消息 队列 。 消 息 队列 可 能 会 有 和 


20.6 ”使 用 云 数据 库 


展 性 、 灵 活性 和 用 户 体验 。 非 基于 消息 队列 的 系统 ， 它 的 运行 速度 将 取决 于 系统 中 最 慢 的 组 件 的 速度 (也 就 是 短 板 效应 ) 。 而 大 


于 消息 队列 ， 可 以 将 系统 中 的 各 


云 计 算 ， 或 者 说 云 平 台 ， 更 多 的 是 属于 水 平 扩 


点 ， 所 以 ， 你 也 需要 确认 你 的 架构 已 经 解决 了 


展 的 范畴 ， 系 统 建立 在 更 小 的 虚拟 系统 之 上 ， 所 以 ， 一 开始 你 不 需要 购买 庞大 的 系统 ， 可 以 从 很 小 的 购买 预算 开始 ， 你 可 以 以 更 小 的 粒度 进行 扩展 ， 而 


由 于 可 以 比较 方便 地 增加 和 减少 节点 ， 性 能 优化 很 快 就 可 以 见效 ， 因 为 优化 了 性 能 ， 就 只 需要 更 少 的 节点 ， 而 对 于 传统 行业 来 说 ， 你 投资 了 设备 ， 那 么 即使 你 优化 了 性 能 ， 这 些 设备 也 是 闲置 的 ， 不 


本 质 上 来 说 ， 系 统 是 不 是 可 扩展 的 ， 很 大 程度 上 并 不 取决 于 使 用 的 具体 产品 ， 而 在 于 你 的 软件 架构 ， 所 以 在 云 上 ， 我 们 仍然 可 以 使 用 传统 数据 库 ， 而 依然 保持 良好 的 扩展 性 。 而 这 也 属于 比较 通用 的 


如 果 不 考虑 维护 成 本 ， 我 们 对 比 国内 的 1DC 托 管 主机 和 云 计 算 的 成 本 ， 可 以 得 出 结论 ， 云 平台 的 成 本 比 自己 租用 主机 的 费用 高 出 不 少 ， 一 些 初创 小 公司 在 项 目 初期 ， 


为 了 节省 维护 和 部 署 的 成 本 ， 可 


使 用 云 服务 要 考虑 的 一 个 问题 是 ， 针 对 云 服务 的 调 优 (包括 数据 库 ) 会 变 得 很 困难 。 由 于 多 个 实例 可 能 位 于 同一 台 主 机 或 同时 申请 使 用 了 共享 的 资源 ， 这 种 多 租户 的 环境 ， 可 能 会 导致 一 些 异 常 ， 比 


一 些 云 服务 的 升级 和 维护 ， 也 可 能 导致 你 的 服务 出 现 异常 。 云 服务 商 一 般 提供 99.5% 的 可 用 性 保证 ， 而 基于 传统 的 方式 托管 机 器 ， 运 维 得 当 ，4 个 9 (99.99%) 的 可 上 


一 般 售卖 的 云 主 机 ， 主 要 依据 内 存 的 大 小 进行 定价 ， 


性 也 是 可 以 轻易 达到 的 。 


他 资源 ， 比 如 CPU， 随 着 内 存 的 增加 ， 也 会 得 到 相应 的 扩展 。 


一 些 公司 可 能 部 分 服务 器 自己 托管 在 IDC， 部 分 使 用 云 服务 ， 这 样 也 是 一 个 比较 折 中 的 想法 ， 因 为 对 于 突 发 的 负荷 ， 可 以 使 用 云 服务 的 弹性 扩容 能 力 来 处 理 。 


Of 本 章 为 读者 介绍 了 可 扩展 架构 的 一 些 知 识 ， 部 分 内 容 严格 来 说 ， 并 不 属于 数据 库 的 范畴 ， 但 它们 和 数据 库 的 可 扩展 性 息息相关 ， 而 且 ， 我 认为 一 个 好 的 DBA， 应 该 熟悉 这 方面 的 内 容 。DB 


关于 云 平台 的 使 用 ， 笔 者 的 经 验 不 多 ， 读 者 如 果 需 要 使 用 云 服 务 ， 可 以 考虑 亚 马 示 、 阿 里 云 等 服务 商 。 


第 21 章 高 可 用 性 


本 章 将 为 读者 介绍 单 点 故障 的 处 理 策略 ， 以 及 单 点 故障 最 为 主流 的 解决 方案 : MySQL 数 据 库 切 换 。 


可 用 性 定义 为 系统 保持 正常 运行 时 间 的 百分比 ， 高 可 用 可 以 理解 为 系统 可 用 时 间 的 百分比 很 高 ， 也 就 是 说 服务 可 用 的 时 间 很 高 ， 数 据 没 有 丢失 ， 也 没有 其 他 异常 。 比 如 ， 一 个 未 预 热 的 数据 库 突然 承 


我 们 一 般 用 百分比 来 表示 可 用 性 ， 举 例如 下 。 


:99.999% 的 可 用 性 表示 全 年 5 分 钟 故障 时 间 。 


“ 99.99% 的 可 用 性 表示 全 年 1 小 时 故障 时 间 。 


* 99.9% 表 示 全 年 8 小 时 故障 时 间 。 


提高 可 用 性 的 成 本 可 能 会 很 高 ， 


我 们 可 以 分 解 系统 的 关键 部 分 和 非 关键 部 分 ， 这 样 可 以 让 你 更 好 地 设计 可 用 性 策略 ， 因 为 提高 一 个 小 系统 的 可 用 性 会 更 容易 。 有 时 我 们 为 了 架构 简 和 


， 不 得 不 保留 人 


策略 也 可 能 会 很 复杂 ， 因 此 我 们 需要 尽 可 能 地 平衡 “停机 ” (downtime) 成 本 和 减少 “停机 ”时 间 的 成 本 ， 衡 量 系统 失败 的 概率 和 所 造成 的 损失 ， 对 比 投入 的 成 


点 ” ， 那 么 我 们 可 以 使 用 更 可 


一 般 影 响 数据 库 服务 可 用 性 的 主要 因素 是 硬件 、 网 络 故障 或 性 能 问题 、 软 件 Bug 等 。 如 果 使 用 了 读 写 分 离 的 架构 ， 还 可 能 因为 复制 延 时 或 复制 错误 导致 从 库 的 数据 滞后 ， 数 据 不 一 致 ， 这 也 会 对 可 | 


1) 上 线 或 升级 新 的 软 硬 件 之 前 ， 充 分 做 好 测试 验证 。 


2) 制定 合理 的 备份 策略 ， 并 定期 恢复 验证 。 


3) 严格 按照 流程 规范 操作 数据 库 ， 隔 离 生 产 环境 和 测试 、 开 发 环境 。 


4) 架构 力求 简单 、 可 靠 ， 因 为 复杂 的 策略 可 能 导致 维护 和 处 理 问题 变 得 困难 ， 也 很 难 实现 高 可 用 策略 ， 记 住 ， 解 决 复杂 问题 的 最 好 方法 就 是 让 复杂 的 问题 不 再 出 现 。 


5) 做 好 监控 ， 尽 量 在 问题 爆发 之 前 就 能 预警 


有 件 ， 尽 量 避 免 故 障 的 再 次 发 生 。 


6) 应 回顾 和 分 析 故 障 导 


高 可 用 不 仅仅 是 技术 的 


点 故障 。 


点 故障 ， 或 者 减少 和 


21.2 单 点 故障 
点 故障 (SPOF) 指 某 个 系统 的 一 部 分 ， 如 果 它 停止 工作 了 ， 将 会 导致 整个 系统 停止 工作 。 在 我 们 的 架构 设计 中 ， 要 尽量 避免 


点 故障 ， 我 们 首先 应 找到 可 能 导致 整个 系统 失效 的 关键 的 组 件 ， 综 合 评估 ， 在 满足 我 们 可 用 性 的 要 求 下 ， 应 该 如 何 避 免 和 
个 组 件 进行 元 余 ， 比 六 


E 
要 扣 免 
一 般 我 们 靠 增加 宛 余 的 方式 来 解决 单 点 故障 ， 允 余 的 级 别 和 方式 不 一 。 从 设备 的 角度 ， 我 们 可 以 对 主机 的 和 
如 下 将 详细 介绍 一 些 常用 的 解决 单 点 故障 的 技术 。 
一 个 负载 均衡 设备 ， 以 解决 后 端 某 个 从 库 异常 的 故障 ， 你 可 能 还 需要 考虑 负载 均衡 设备 自身 的 高 可 用 性 。 
通过 配置 在 数据 库 主机 上 的 虚拟 IP 访 问 数 据 库 ， 如 果 某 个 数据 库 主 村 


1) 使 用 负载 均衡 软 硬 件 设备 ， 比 如 对 于 一 组 读 库 ， 我 们 可 以 在 前 端 放 


[使 用 多 个 网 卡 ， 我 们 也 可 以 对 整个 


可 题 ， 也 是 管理 的 问题 ， 有 正确 的 流程 、 规 范 和 步骤 ， 有 良好 的 文档 ， 有 训练 有 素 的 维护 人 员 ， 才 可 以 减少 故障 发 生 的 概率 ， 并 能 在 故障 发 生 后 快速 恢复 。 


点 故障 爆发 的 可 能 性 。 


E 机 所 有 的 关键 部 件 进行 元 余 


2) 使 用 共享 存储 、 网 络 文件 系统 、 分 布 式 文件 系统 或 复制 的 磁盘 (DRBD) 。 


的 是 基于 SAN 的 共享 存储 存放 数据 ， 数 据 库 的 多 个 实例 并 发 访问 共享 存储 存 取 数 据 ， 应 | 


传统 的 数据 库 产品 ， 如 Oracle RAC 使 
也 有 人 使 


D 的 方案 DRBD。 


网 络 文件 系统 NFS 或 分 布 式 文件 系统 存储 共享 的 数据 库 文件 。 
此 互联 网 架构 中 很 少 使 用 这 类 方案 ， 有 些 人 为 了 确保 主 库 数据 的 安全 性 ， 把 二 进 制 日 志 存 放 到 共享 存储 中 
。 因 | 


因为 只 有 一 半 的 主机 可 上 


分 布 式 文件 系 


身 会 成 为 整个 系统 的 瓶颈 ， 而 且 会 导致 主机 的 浪费 ， 
分 布 式 文件 系统 来 存放 数据 库 文件 ， 由 了 


的 备份 文件 。 有 些 人 选择 使 


MySQL 官 方 介绍 了 一 个 实现 网 络 RA 
使 用 共享 存储 是 比较 传统 的 做 法 ， 由 于 成 本 比较 高 ， 且 共享 存储 自身 可 能 也 会 成 为 单 点 ， 因 
使 用 网 络 RAID， 即 DRBD 虽 然 是 可 行 的 ， 但 现实 中 用 得 并 不 多 ， 主 要 原因 在 于 目前 的 SSD 已 经 足够 快 了 ，DRBD 

士 ，NFS 更 适用 的 场景 是 存放 一 些 共享 


笔者 没有 使 用 过 NFS 存 储 共享 的 数据 库 文件 ， 网 络 文件 系统 难以 实现 高 知 


居 库 切换 。 


3) 基于 主 从 复制 的 数 所 


方案 是 MySQL 数 据 库 主 从 切换 ， 也 就 是 说 ， 基 


最 多 的 高 可 


目前 MySQL 使 


21.3 MySQL 数据 库 切 换 


F 主 从 复制 的 元 余 。 通 过 对 主 库 增加 一 个 或 多 个 副本 ( 备 库 ) ， 在 发 4 


E 故 障 的 情况 下 ， 把 生产 流量 切换 到 副本 上 ， 以 确 


基于 数 


[es 
负 


由 于 数据 库 切 换 依赖 的 是 MySQL 的 主 从 复制 架构 ， 所 以 你 需要 深刻 了 解 MySQL 的 复制 原理 和 机 制 ， 确 保 MySQL 


库 复制 架构 的 切换 是 目前 MySQL 高 可 用 的 主流 解决 方案 。 我 们 把 数据 库 成 双 成 对 地 设置 成 主 从 架构 ， 应 用 平时 只 访问 主 库 ， 如 果 主 库 宕 机 了 ， 从 库 可 以 替补 使 用 ， 且 满足 一 定 的 条 件 ， 那 4 


的 同步 一 直 是 可 用 的 。 你 需要 尽 可 能 地 保证 数据 已 经 同步 到 了 从 库 ， 以 免 丢 失 数据 。 


数据 库 可 以 配置 成 主 从 架构 ， 也 可 以 配置 成 主 主 架构 。 我 们 建议 使 用 主 从 架构 ， 这 是 最 稳健 、 最 可 靠 的 方案 。 有 些 人 把 数据 库 配置 成 主 主 架构 的 原因 是 ， 他 们 认为 这 样 做 可 以 更 便于 切换 及 回 切 。 配 


除了 单 点 故障 ， 有 了 时 我 们 也 可 以 为 了 其 他 目的 进行 切换 ， 比 如 在 大 表 中 修改 表 结构 ， 为 了 避免 影响 业务 ， 临 时 把 所 有 流量 切换 到 从 库 。 这 种 情况 下 ， 配 置 成 主 主 架构 会 更 方便 。 


为 了 简化 容量 管理 ， 以 确保 切换 数据 库 流量 之 后 ， 数 据 库 主机 能 够 正常 提供 服务 ， 


应 该 确保 主 备 机 器 的 软 硬 件 配置 尽量 一 致 。 由 于 数据 库 从 库 的 数据 一 般 并 未 “ 预 热 ”， 热 点 数据 也 没有 被 加 载 到 内 


对 于 写 入 事务 比较 多 的 业务 ， 在 发 生 故 障 的 情况 下 进行 主 从 切换 ， 可 能 会 丢失 数据 和 导致 主 从 不 一 致 ， 一 般 情况 下 ， 互 联网 业务 的 可 用 性 会 高 于 数据 一 致 性 ， 丢 失 很 少 的 事务 是 可 以 接受 的 。 一 些 数 


对 于 数据 库 的 切换 ， 我 们 有 如 下 的 一 些 方式 。 


1) 通过 修改 程序 的 配置 文件 实现 切换 。 程 序 配置 文件 里 有 数据 库 的 路 由 信息 ， 我 们 可 以 修改 程序 的 配置 文件 实现 数据 库 流量 的 切换 ， 在 大 多 数 情 况 下 ， 我 们 需要 重启 应 用 。 比 如 JAVA 服务 ， 默 认 配 


2) 修改 内 网 DNS。 


我 们 可 以 在 生产 环境 中 配置 内 网 DNS， 通 过 修改 内 网 DNS 指 向 的 数据 库 服 务 器 的 IP， 实 现 主 库 在 故障 情况 下 的 切换 ， 这 种 方式 ， 往 往 也 需要 重启 应 用 服务 。 由 于 内 网 DNS 可 能 不 归属 于 DBA 团 队 掌 六 


3) 修改 主机 的 hosts 文 件 。 


/etc/hosts 里 可 以 配置 与 数据 库 服 务 器 的 域名 对 应 的 P， 但 是 还 不 够 理想 。 而 且 在 有 很 多 应 | 


服务 器 的 时 候 ， 维 护 一 份 统一 的 hosts 文 件 的 成 本 也 会 比较 高 。 


4) 一 些 能 够 实现 高 可 用 的 工具 集 ， 如 MHA、MMM， 它 们 用 于 监控 数据 库 节 点 的 存活 状况 ， 通 过 修改 配置 文件 或 漂移 主 库 IP 的 方式 来 实现 数据 库 的 高 可 用 。M M M 通 过 漂移 虚拟 IP 的 方式 处 理 单 点 


你 也 可 以 自己 编写 脚本 监控 数据 库 节 点 的 可 用 性 ， 漂 移 虚拟 机 1P 实 现 切换 ， 需 要 留意 的 是 ， 漂 移 IP 的 方式 存在 一 个 缺陷 ， 其 严重 依赖 硬件 的 可 靠 性 ， 需 要 主机 、 网 络 设备 的 配合 工作 。 在 生产 环境 中 


5) 对 于 大 规模 的 数据 库 集群 ， 需 要 更 智能 地 处 理 单 点 切换 ， 应 该 尽量 不 依赖 自己 无 法 控制 的 因 


6) 通过 客户 端 、 框 架 配合 实现 单 点 切换 ， 相 对 于 使 用 Proxy 的 方式 ， 这 种 方式 更 轻 量 级 。 


21.4 跨 IDC 同 步 


素 ,， 我们 可 以 使 用 独立 的 Proxy 代 理 的 方式 实现 单 点 切换 。 所 有 的 流量 都 经 过 Proxy，Proxy 智 能 地 处 


有 时 我 们 需要 部 署 1/DC 级 别 的 元 余 ， 在 另 一 个 IDC 中 部 署 数据 库 的 从 库 ， 由 于 网 络 


层 的 不 稳定 ， 你 很 难 实现 很 高 的 可 


性 ， 除 非 你 对 数据 的 延 时 和 数据 的 一 致 性 要 求 不 高 。 你 需要 意识 到 ， 距 离 越 远 ， 


不 仅仅 是 主 从 同步 ， 只 要 距离 足够 远 ， 网 络 质量 就 难以 得 到 保证 ， 就 需要 留意 同步 对 应 用 的 影响 ， 你 可 能 需要 尽 可 能 地 减少 节点 之 间 的 数据 交互 ， 及 时 调度 用 户 访问 其 他 节点 ， 甚 至 使 用 专用 的 高 质 


Oi 本 章 主 要 介绍 了 MySQL 保障 高 可 用 的 方案 ，MySQL 主 从 复制 几乎 是 所 有 高 可 用 方案 的 基础 。 读 者 应 该 熟悉 MYSQL 的 复制 原理 。 对 于 跨 IDC 的 数据 同步 ， 许 多 人 可 能 没有 意识 到 它 的 局 限 性 ， 


第 22 章 ”其 他 产品 的 选择 


本 章 将 为 读者 介绍 其 他 的 数据 库 产品 ， 是 NoSQL 产 品 的 选择 。 读 者 在 熟悉 MySQL 之 外 ， 也 应 该 了 解 其 他 的 数据 库 产 品 。 本 章 的 目的 是 给 读者 一 个 引导 ， 如 何 选择 一 些 NoSQL 产 品 ， 而 不 是 推介 


22.1 列 式 数据 库 产 品 


数据 的 存储 可 以 简单 地 理解 为 ， 行 式 数据 库 ， 即 把 每 行 的 数据 串 起 来 存储 在 数据 库 内 ， 而 列 式 数据 库 则 是 把 每 列 的 数据 串 起 来 存储 在 数据 库 内 ， 行 式 数据 库 一 般 是 不 压缩 的 ， 而 列 式 数据 


随 着 数据 规模 的 扩大 ，MySQL 在 存储 和 分 析 海 量 数据 方面 变 得 越 来 越 力 不 从 心 ， 虽 然 我 们 可 以 把 数据 切 分 到 多 个 MySQL 节 点 ， 但 并 不 是 每 个 业务 的 数据 都 适合 分 布 式 的 MySQL 存 储 的 。 


库 ， 由 于 同 


本 质 上 ， 存 储 的 方式 应 该 是 有 利于 查询 和 分 析 的 。 传 统 的 关系 数据 库 产 品 一 般 是 以 行 的 方式 来 存储 数据 ， 更 适合 于 处 理 小 批量 的 数据 ; 而 列 式 数据 库 则 是 以 列 的 方式 来 存储 数据 的 ， 更 适合 大 批量 的 


选择 使 用 行 式 数据 库 还 是 列 式 数据 库 ， 你 需要 在 这 中 间 寻 求 一 个 平衡 ， 由 于 成 熟 的 列 式 数据 库 产 品 一 般 是 商业 产品 ， 比 如 Sybase IQ， 价 格 比较 昂贵 。 互 联网 公司 很 少 使 用 列 式 数据 库 产 品 ， 更 多 的 } 


目前 常用 的 基于 MySQL 的 开源 列 式 数据 库 产 品 为 Infobright，lnfobright 是 业界 领先 的 成 熟 产品 ， 


22.2 ”NoSQL 产 品 的 选择 


22.2.1 概述 


免费 版 本 不 能 修改 数据 ， 只 能 使 用 “LOAD DATA INFILE” 的 方式 导入 数据 ， 不 支持 INSERT、 上 


NoSQL 产 品 发 展 得 很 快 ， 这 些 年 又 不 断 有 新 的 产品 出 现 ， 但 往往 是 县 花 一 现 ， 一 些 上 线 的 NoSQL 产 品 由 于 不 成 熟 ， 经 常 难于 维护 ， 甚 至 数据 丢失 ， 究 其 原因 ， 往 往 是 选择 的 NoSQL 产 品 未 充分 考虑 


本 节 将 主要 阐述 选择 NoSQL 产 品 的 一 些 思路 和 方法 学 ， 并 不 会 进行 各 种 数据 库 产 品 的 详细 对 比 ， 大 家 可 以 按照 自己 的 理解 和 侧重 点 编写 程序 或 使 用 开源 工具 进行 对 比 ， 对 于 NoSQL 产 品 自 带 的 性 能 i 


选择 NoSQL 数 据 库 产品 需要 考虑 到 许多 因素 ， 需 要 权衡 取 舍 ， 但 无 论 出 于 何 种 考虑 ， 大 规模 的 部 署 必然 要 求 满足 运 维 的 一 些 基本 指标 ， 比 如 稳定 性 和 可 维护 性 。 


一 些 有 发 展 前 景 的 NoSQL 产 品 改 进 很 快 ， 所 以 可 能 会 随 着 时 间 的 演变 ， 性 能 和 稳定 性 都 得 到 长 足 的 发 展 ， 一 些 指标 会 得 到 很 大 的 改善 ， 你 应 该 保持 对 市 场 上 应 用 最 广泛 的 一 些 产 品 的 关注 ， 了 解 其 量 


本 节 将 主要 以 最 流行 的 MongoDB 和 Redis 为 例 ， 讲 述 如 何 选择 NoSQL 产 品 ，MongoDB 和 Redis 都 有 良好 的 发 展 势头 ， 各 种 功能 特性 得 到 不 断 完善 ， 本 书 所 讲述 的 MongoDB 和 Redis 主 要 是 基 
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许多 NoSQL 产 品 是 为 了 存 取 特定 的 数据 而 设计 的 ， 将 它们 都 列 在 一 起 进行 对 比 ， 没 有 多 大 意义 ， 如 果 你 需要 选择 和 对 比 NoSQL 产 品 ， 实 际 的 比 对 建议 限制 在 2 种 (或 者 最 多 3 种 ) 产品 的 对 比 上 ， 如 ! 


选择 NoSQL 产 品 需要 重点 考虑 的 因素 如 下 。 


1. 灾 难 恢复 性 


灾难 恢复 性 ， 即 故障 后 数据 的 恢复 性 ， 我 们 可 以 通过 模拟 程序 崩溃 或 主机 宕 机 来 验证 灾难 恢复 性 。 可 考虑 如 下 三 种 场景 : 进程 崩 演 、 操 作 系 统 崩 省 和 存储 故障 。 


在 崩溃 后 ， 测 试验 证 能 否 正 常 启动 数据 库 服务 、 数 据 文件 是 否 损坏 、 数 


2. 可 维护 性 


可 维护 性 ， 顾 名 思 义 ， 是 指 对 产品 维护 的 难 易 程度 。 


3. 可 靠 性 


衡量 数据 库 系统 操作 的 成 功 性 。 我 们 需 确保 操作 结果 符合 系统 设计 的 预期 。 


4. 高 可 用 性 


高 可 用 性 可 以 定义 为 系统 保持 正常 运行 时 间 的 百分比 。 即 ， 


Ao=up time/total time 或 


Ao=(total time-down time)/total time。 


确定 可 容忍 的 停机 时 间 是 可 行 的 。 从 这 一 点 上 来 看 ， 所 需 的 可 用 性 可 以 很 容易 地 计 


出 来 。 


居 是 否 完整 、 数 据 丢 失 了 多 少 等 ?在 存储 异常 的 情况 下 ， 验 证 服务 的 稳定 性 ， 验 证 是 否 能 及 时 发 现 硬件 异常 。 


高 可 用 往往 不 是 单个 数据 库 产品 就 可 以 决定 的 ， 这 更 多 的 是 一 个 架构 问题 。 对 于 MySQL 和 诸多 其 他 开源 数据 库 产 品 ， 都 没有 很 通行 的 开源 的 高 可 


我 们 衡量 的 高 性 能 ， 应 该 是 高 访问 压力 下 的 高 性 能 。 性 能 一 般 可 用 响应 时 间 来 度量 。 


6. 可 扩展 性 


可 扩展 性 一 般 是 指 我 们 可 以 用 更 多 的 节点 来 提高 吞吐 率 ， 同 时 性 能 不 会 下 降 到 不 可 接受 的 范围 ， 这 更 多 地 


7. 资 源 利用 


对 于 数据 库 来 说 ， 我 们 3 


要 关注 对 MO 资源 、CPU 资 源 和 内 存 资源 的 利用 。 


属于 架构 的 范畴 。 


解决 方案 。 各 大 公司 在 发 


展 到 一 定 规模 之 后 ， 者 


这 里 将 简单 列举 一 些 示 例 ， 包 括 但 不 限于 以 下 的 一 些 功能 和 特性 。 


(1) dynamic schema 


动态 schema， 也 就 是 NoSQL 产 品 的 schema-less 特 性 。MySQL 在 这 方面 不 太 具 有 优势 ，MariaDB 在 这 方面 有 一 些 改进 ， 据 说 MariaDB 10 会 有 更 多 的 改进 。NoSQL 产 品 在 这 方面 往往 更 具 优势 。 现 


(2) automatic sharding 


一 些 NoSQL 数 据 库 或 多 或 少 都 实现 了 此 类 特性 ， 传 统 关系 型 数据 库 不 太 容 易 实现 。 但 NoSQL 产 品 的 auto-sharding 特 性 ， 仍 有 待 于 大 规模 生产 的 测试 验证 。 


(3) 锁 的 实现 


不 同 的 数据 库 产 品 对 于 锁 的 实现 也 不 尽 相 同 ， 锁 的 设计 对 于 数据 库 的 并 发 访问 有 很 大 影响 ， 在 这 方面 ， 传 统 数据 库 对 于 锁 的 实现 较为 复杂 和 高 效 ， 而 NoSQL 锁 的 实现 往往 比较 简单 ， 且 粒度 更 大 。 


(4) 文件 管理 


本 节 主 要 关注 数据 文件 的 空间 分 配 。 


(5) 支持 JOIN 等 复杂 查询 的 能 


一 般 NoSQL 产 品 实现 了 简单 的 Key-Value 或 一 些 改进 的 数据 结构 ， 但 一 般 不 会 实现 传统 数据 库 “ 表 ”之 间 的 “JOIN”。 


9 .数据 结构 


一 般 传统 的 关系 型 数据 


各 种 功能 特性 的 选择 ， 往 往 不 可 兼 得 ， 所 以 需 


库 更 适合 存储 一 些 结构 化 的 数据 ， 而 NoSQL 产 品 更 适合 存储 一 些 非 结构 化 的 数据 。 在 数据 量 小 的 时 候 ， 一 般 使 用 传统 数据 库 就 够 F 


以 下 将 详 述 上 面 的 各 个 因素 。 


22.2.2 ”灾难 恢复 性 


下 面 我 们 来 对 比 下 MySQL 和 一 些 NoSQL 产 品 的 灾难 恢复 机 制 。 以 MySQL 和 MongoDB 为 例 。 


(1) MySQL 的 数据 库 灾 难 恢复 机 制 。 


1) 


也 就 是 说 ， 数 据 文件 不 会 马上 写 入 脏 数 据 ， 而 是 先 写 日 志 ， 以 后 1 


靠 预 写 日 志 (Write-ahead logging) 来 保障 持久 性 。 


了 ， 传 统 数据 库 往往 比较 通用 ， 但 在 数据 区 


权衡 取舍 ， 比 如 ， 如 果 QPS 或 延 时 都 很 稳定 ， 基 本 上 没有 变化 ， 那 么 我 们 可 以 不 用 太 关注 使 用 资源 的 少许 差异 。 如 果 数 拉 


居 安 全 性 要 求 不 高 ， 人 允许 丢失 


8 批量 刷新 脏 数 据 到 数据 文件 以 提高 吞吐 率 。 我 们 把 这 个 日 志 叫 作对 


2) MySQL 还 有 一 个 数据 结构 double write buffer ( 双 写 缓冲 ) ， 可 用 于 增强 灾难 恢复 性 。 


数 


居 文 件 随机 读 写 ，InnoDB 最 小 的 写 入 单元 是 16KB， 如 果 由 于 故障 或 Bug 只 写 了 部 分 块 ， 那 么 可 能 会 导致 坏 块 (data corruption) 。InnoDB 使 


务 日 志 ， 数 据 库 崩溃 


后 ， 可 以 找到 | 


务 日 志 的 某 个 时 间 点 ， 把 


double write buffer 来 确保 数据 安全 ， 避 免 块 振 


(2) NoSQL 产 品 的 灾难 恢复 机 制 。 


常见 的 NosQL 产 品 的 存储 引擎 有 两 类 实现 。 一 种 是 Memory-Mapped 存 储 引 擎 ， 另 一 种 是 日 志 型 的 存储 模型 。 


1) 许多 NoSQL 产 品 都 采用 了 Memory-Mapped 存 储 引擎 ， 如 Tokyo Tyrant、BDB、MongoDB 等 ，MMAP 方 式 是 靠 操作 系统 将 数据 刷新 到 磁盘 的 ， 用 的 是 操作 系统 的 虚拟 内 存 管理 策略 。 在 某 些 


数据 被 破坏 的 过 程 大 致 如 下 。 


Linux 操 作 系统 有 定时 刷新 数据 的 机 制 ， 一 般 是 几 秒 的 间隔 ，MO 瓶 颈 严 重 时 ， 还 会 自动 调整 。 操 作 系统 还 有 一 个 30 秒 的 数据 过 期 限制 。 具 体 的 机 制 比较 复杂 ， 有 兴趣 的 读者 可 以 自己 研究 下 。 


IN 
i 


生产 环境 中 的 大 部 分 业务 都 有 写 入 数据 的 场景 ， 在 宕 机 时 刻 ， 数 据 正在 刷新 的 概率 很 高 ， 此 时 的 后 果 往 往 就 是 损坏 数据 。 这 种 情况 无 法 避免 ， 它 是 由 其 实现 机 制 决定 的 ， 宕 机 时 刻 ， 可 能 只 刷新 了 部 


由 以 上 可 知 ，MMAP 方 式 的 数据 库 从 理论 上 就 注定 了 其 灾难 恢复 性 不 佳 。10gen 公 司 宣称 其 增加 了 记录 日 志 的 功能 ,但 只 是 改善 了 其 原来 比较 差 的 灾难 恢复 性 ， 按 照 传统 数据 库 的 标准 ， 离 真正 的 交 


目前 存在 争议 的 地 方 是 ，MongoDB 在 现实 中 要 求 许多 见 余 来 保障 安全 ， 而 实际 上 大 部 分 的 应 用 ， 单 机 就 可 以 支撑 了 ， 单 机 的 可 靠 性 还 是 很 重要 的 。 不 太 可 能 使 用 3~4 个 节点 的 复制 集 来 确保 一 个 普 ; 


笔者 所 在 的 生产 环境 中 曾 出 现 过 宕 机 破坏 数据 文件 的 情况 (2013 年 ) ， 然 后 主机 重启 后 MongoDB 可 以 起 来 ， 但 是 数据 文件 里 的 部 分 块 已 经 被 破坏 ， 由 于 MongoDB 并 没有 做 数据 块 的 校 验 ， 因 此 不 


10gen 公 司 对 此 似乎 一 直 保持 着 回避 的 态度 ， 宣 称 的 是 “无 单 点 故障 ”， 其 实 也 有 “无 奈 ” 的 成 分 ， 存 储 系统 虽然 在 商业 领域 很 成 熟 ， 但 要 通过 一 个 开源 公司 来 实现 ， 其 实 是 非常 困难 的 。 为 了 尽快 


2) 另 一 种 是 日 志 型 的 存储 模型 ， 数 据 文件 是 顺序 添加 的 ， 如 bigtable、couchdb。 其 他 如 HBASE、leveldb 也 是 类 似 的 实现 。 这 种 存储 实现 ， 可 以 保证 在 系统 掉 电 后 ， 数 据 文件 尽量 不 被 破坏 ， 需 要 


3) 目前 Redis 的 实现 ， 有 些 特别 ， 主 流 的 快照 持久 化 方式 ， 是 把 内 存 中 的 数据 定期 dump 到 磁盘 上 ( 先 dump 到 临时 文件 ， 然 后 mv， 可 以 保证 整个 过 程 是 原子 性 的 安全 操作 ) ， 对 于 实例 庆 溃 ， 电 涯 


22.2.3 ”可 维护 性 


可 维护 性 与 维护 服务 的 运作 及 在 出 现 服务 中 断 时 尽快 恢复 等 活动 相关 。 许 多 NoSQL 产 品 让 人 诉 病 的 地 方 就 是 维护 性 比较 差 。 缺 少 文档 、 缺 少 监控 工具 、 诊 断 困难 ， 这 些 都 影响 了 维护 性 ， 运 维 人 员 生 


可 维护 性 在 很 大 程度 上 取决 于 内 部 维护 人 员 的 技能 ， 对 于 MySQL 等 常用 的 数据 库 ， 已 经 有 许多 人 在 学 习 和 研究 它 ， 它 有 成 熟 的 解决 方案 ， 合 理 的 运 维 方案 ， 出 了 问题 后 一 般 能 够 快速 解决 。 可 是 No 


NoSQL 产 品 如 果 崩 溃 了 ， 人 往往 还 需要 Debug 代 码 ， 而 这 对 于 不 熟悉 源码 的 运 维 人 员 来 说 这 将 是 一 件 很 头痛 的 事情 ， 所 以 ， 应 该 提供 快速 恢复 或 屏蔽 错误 的 手段 。 


22.2.4 可 靠 性 


对 于 用 户 的 操作 ， 数 据 库 产品 应 按照 约定 成 功 执行 。 比 如 用 户 可 能 会 犯错 ， 存 储 介质 可 能 会 有 异常 ， 各 种 各 样 的 系统 错误 都 可 能 会 发 生 ， 在 这 些 情况 下 ， 我 们 的 数据 库 系 统 仍然 要 保持 功能 的 正常 和 


我 们 可 以 模拟 各 种 用 户 错误 ， 模 拟 各 种 底层 硬件 、 操 作 系统 的 异常 情况 ， 来 验证 数据 库 系 统 的 可 靠 性 。 


一 般 有 两 种 级 别 的 可 靠 性 。 


: 应 用 依赖 的 可 靠 性 ， 比 如 参考 完整 性 。 


“ 应 用 无 关 的 可 靠 性 ， 比 如 ACID 特性 。 


许多 数据 库 产品 都 支持 ACID 特性 ， 但 支持 的 程度 可 能 不 一 样 ，MySQL InnoDB 支 持 复杂 的 事务 ， 事 务 操作 可 以 同时 修改 多 个 表 的 数 


可 靠 性 ， 可 以 用 如 下 两 个 指标 来 衡量 。 


届 ， 支 持 多 语句 操作 ， 而 MongoDB 并 不 支持 多 文档 事务 ， 它 仅 ; 


1) 正确 性 : 正确 性 指 的 是 系统 能 够 按照 约定 成 功 运行 。 对 于 复杂 的 数据 库 系 统 ， 可 能 很 难 用 工具 去 校 验 系统 的 正确 性 ， 往 往 需要 线 上 大 规模 用 户 的 长 期 验证 。 关 于 正确 性 这 方面 ，MySQL 等 传统 数 


2) 可 用 性 : 系统 能 够 正常 工作 的 时 间 。 我 们 可 以 统计 一 个 系统 能 正常 满足 用 户 操作 的 时 间 比 例 ， 来 衡量 一 个 系统 的 可 用 性 。 


一 般 以 上 两 者 不 可 兼 得 ， 为 了 追求 正确 性 ， 可 能 会 降低 可 用 性 ， 比 如 银行 、 证 券 交 易 系统 就 需要 很 高 的 正确 性 ， 为 了 确保 数 


22.2.5 ”高 可 用 性 


本 节 内 容 更 多 考虑 的 是 单机 产品 。 对 于 只 有 少量 机 器 的 公司 ， 单 机 虽然 可 能 失效 ， 但 一 般 还 在 容忍 的 范围 


本 
Tull 


而 对 于 拥有 大 量 机 器 的 公司 ， 如 Facebook、Twitter， 包 括 国内 的 许多 公司 都 有 各 种 数据 库 中 间 层 (中 间 件 ) 的 方案 ， 


MongoDB (2.4 版 本 ) 可 以 配置 为 复制 集 (replication set) 。 但 生产 实践 证 明 它 的 自动 元 余 切 换 的 特性 并 没有 宣传 得 那么 好 ， 官 方 的 投票 


22.2.6 高 性 能 


NoSQL 产 品 的 官方 说 明 都 是 说 它们 具有 高 性 能 ， 对 于 许多 人 来 说 ， 这 是 一 个 好 的 卖点 ， 对 此 我 们 应 该 有 一 个 清楚 的 认识 。 官 方 的 评测 数据 更 多 的 是 出 于 市 场 的 需要 ， 它 属 


居 准 确 ， 宁 可 降低 可 用 性 、 暂 时 停止 服务 。 而 提高 可 用 性 可 能 就 会 无 法 保 


在 一 定 的 规模 级 别 下 ， 宕 机 的 概率 可 能 会 导致 运 维 工程 师 根本 处 理 不 过 来 ， 自 


要 的 是 维护 人 员 能 够 迅速 地 处 理 故障 。 设 计 体 验 良好 的 应 用 程序 对 于 处 理 数据 库 的 异 


法 不 够 完善 ， 难 以 解决 复杂 的 网 络 硬件 故障 异常 所 导致 


产品 生命 周期 的 一 个 正 并 


我 们 衡量 的 高 性 能 ， 应 该 是 高 访问 压力 下 的 高 性 能 。 各 种 测试 报告 往往 专注 于 峰值 吞吐 数据 ， 但 是 在 现实 世界 中 ， 我 们 是 希望 在 合理 的 成 本 下 达到 期 望 值 ， 同 时 还 要 求 不 降低 服务 质量 ， 我 们 更 关注 


如 果 我 们 使 用 缓存 (如 Memcached) ， 


对 于 数据 写 入 ， 起 决定 作用 的 是 物理 磁盘 (存储 ) ， 磁 盘 技 术 在 


实践 证 明 ， 单 机 的 Key-Value 产 品 性 能 并 没有 像 传说 中 的 那么 高 。 为 什么 生产 环境 和 网 上 的 官方 性 能 数据 会 出 现 那么 大 的 差异 呢 ? 原 


实际 生产 验证 中 ， 当 数据 库 数据 远 远 大 于 内 存 时 ， 此 时 缓存 已 经 不 能 存放 所 有 的 热点 数据 ， 那 么 数据 库 可 能 不 得 不 去 磁盘 进行 读 取 ，miss rate (缓存 未 命中 比率 ) 指标 可 以 


发 展 的 几 十 年 以 来 ， 一 直 是 计算 机 的 瓶颈 所 在 ， 相 对 于 CPU 和 内 存 技术 的 快速 发 


那么 我 们 就 不 用 太 担心 读 的 压力 。 一 些 NoSQL 产 品 和 传统 数据 库 产 品 都 有 缓存 热点 数据 的 功能 ， 只 是 实现 效率 和 成 熟 度 的 差别 ， 但 基于 磁盘 的 数据 库 和 基于 


展 ， 磁 盘 技 术 一 直 没 有 太 大 的 改观 。 所 以 不 要 期 竺 


因 是 部 分 的 NoSQL 产 品 是 MMAP 存 储 引擎 的 方式 ， 因 为 写 入 数 打 


来 衡量 Cache (缓存 ) 


生产 实践 还 表明 ，MongoDB 的 INSERT 速 率 会 比 InnoDB 慢 5 倍 以 上 ， 主 要 原因 在 于 MongoDB 写 入 了 比 其 他 数据 库 多 得 多 的 大 数据 (包括 日 志和 数据 文件 ) 。 


对 比 MongoDB， 传 统 的 数据 库 对 于 数据 的 处 理 往往 做 了 更 多 的 优化 ， 比 如 InnoDB 的 insert buffer， 数 据 文件 也 更 紧凑 ， 支 持 行 锁 ， 所 以 其 有 更 高 的 性 能 ， 这 点 并 不 稀奇 。 


所 以 ， 如 果 我 们 测试 NoSQL 产 品 ， 发 现 其 和 传统 产品 有 很 大 的 


以 上 所 说 的 是 单机 的 基于 磁盘 的 产品 ， 丸 


以 上 并 不 是 说 NosQL 的 性 能 就 必然 比 传统 的 数据 库 产品 差 ， 因 为 有 许多 其 他 因素 还 没有 考虑 进去 ， 数 据 结构 及 程序 对 了 


区 别 时 ， 应 该 检查 下 ， 是 否 有 其 他 因素 的 影响 (如 QOS、 缓存 、 数 据 结 构 等 ) 。 


[0 果 是 一 个 集群 ， 从 应 用 层 sharding (分 片 ) ， 那 么 NoSQL 集 群 的 性 能 一 般 也 会 弱 于 传统 数据 库 产品 的 集群 。 


数据 的 操作 方式 也 深刻 地 影响 着 性 能 。 希 望 大 家 明 


白 ,衡量 一 个 产品 要 考虑 对 


要 提高 MO 性 能 ， 更 多 的 是 其 他 设计 


高 性 能 


点 


加 


面 


实 高 性 能 ， 并 不 是 我 们 关注 的 


22.2.7 可 扩展 性 


可 扩 


， 我 们 应 该 和 


点 关注 的 是 NoSQL 产 品 的 伸缩 性 (可 扩 


还 有 一 个 潜台词 ， 可 以 充分 挖掘 出 硬件 的 能 力 ， 以 及 充分 利用 硬件 的 能 力 。 如 ， 在 一 台 CPU 资源 很 充足 的 机 器 上 ， 支 持 压缩 的 数据 库 产品 ， 


展 性 ) 。 


展 性 ， 一 般 是 指 可 以 用 更 多 的 节点 来 提高 吞吐 率 ， 性 能 不 会 下 降 到 不 可 接受 的 范 上 


1) 一 般 的 传统 数据 库 ， 可 能 有 些 人 会 觉得 可 扩 


大 家 可 以 参考 下 Facebook、Twitter 的 架构 ， 它 们 都 是 把 MySQL 当 作 一 个 分 布 式 的 Key-Value 存 储 ， 充 分 利用 了 MySQL 的 可 靠 、 稳 定 和 


2) NoSQL 产 品 从 理论 上 说 ， 其 可 扩 


需要 注意 的 是 : 节点 增多 ， 宕 机 的 可 能 性 就 会 比较 高 。 现 实生 产 中 ，NoSQL 产 品 的 节点 是 需 


展 性 比较 差 ， 但 对 于 海量 数据 ,，MySQ 


四 。 我 们 也 称 


往往 可 以 获得 比较 好 的 性 能 。 


上 要 考虑 的 ， 如 : 转换 随机 读 写 为 顺序 读 写 、 进 行 压 缩 、 访 问 存储 方式 (可 参考 http://en.wikipedia.org/wiki/Locality_of_reference) 。 例 如 ，TokuMX 天 


因 


为 CPU 不 怎么 饱和 


为 伸缩 性 。 注 意 ， 伸 缩 性 不 等 于 性 能 ， 伸 缩 性 更 多 的 是 满足 吞吐 率 的 要 求 。 按 照 维基 百 


展 性 比 传统 数据 库 产品 更 好 ， 但 在 现实 44 


产 环境 中 ，NoSQL 产 品 的 可 扩 | 


[分 库 分 表 在 目前 来 说 仍然 是 最 成 熟 的 办 法 ， 从 应 


0 安全 的 特性 。 


科 的 定义 


层 分 片 不 存在 任何 问题 ， 前 提 是 你 需要 有 合理 的 数据 规划 。 


展 性 可 能 并 没有 那么 好 。 大 部 分 NoSQL 产 品 并 不 是 可 扩 


展 的 ， 它 们 一 般 是 


单机 的 产 上 


Ep 


具备 单机 可 靠 性 的 ， 或 者 如 MongoDB， 虽 然 不 


3) 一 般 情 况 下 ， 我 们 不 需要 考虑 读 压力 ， 也 不 用 考虑 读 写 分 离 ， 缓 存 产品 (如 Memcached) 可 以 极 大 地 缓解 读 的 压力 ， 我 们 主要 担心 的 是 写 的 |/O 尊 颈 。 


对 于 简 生 


查询 ， 一 般 MySQL 普 通 3 


4) 现实 中 的 场景 ， 有 时 是 一 些 混合 性 的 方案 ， 同 时 使 用 了 NoSQL 产 品 和 MySQL 产 品 。 比 如 新 浪 微 博 的 Redis 加 MySQL 技 术 方案 ，MySQL 支 持 海量 数据 ，Redis 支 持 高 性 能 及 一 些 


5) 关于 MySQL Cluster 的 方案 ， 


还 有 一 种 Oracle 官 方 公布 的 伸缩 | 


这 种 技术 架构 ， 可 以 有 一 定 的 扩 


机 的 QPS 为 几 千 ，Key-Value 的 存储 也 是 很 稳健 的 


体 如 下 。 


性 比较 好 的 方案 ，MySQL Cluster， 但 很 少 有 人 精通 ， 


展 性 ， 但 实际 上 它 可 能 对 付 不 了 不 断 增 长 的 扩 


从 成 本 上 来 说 ， 内 存 也 比较 贵 。 把 热点 数 


以 上 5 点 的 说 明 ， 


er 


可 扩展 性 还 可 以 理解 为 ， 随 着 数 


22.2.8 ”资源 利用 


目的 是 澄清 一 些 对 于 NoSQL 产 品 可 扩 


展 性 的 误解 。 现 实 中 ， 


居 加 载 到 内 存 是 更 经 济 的 方法 ， 用 不 着 把 所 有 数 


没有 已 知 的 大 规模 使 
展 性 需求 ， 因 为 一 旦 节点 增多 


旧 


居 都 加 载 到 内 存 旦 


， 性 能 不 会 比 NoSQL 产 品 的 差 。 这 种 能 力 ， 已 经 足够 支持 大 部 分 应 


备 单机 可 靠 性 ， 但 是 会 


有 一 个 复制 集 (replication s 


了 。 所 以 我 们 在 做 架构 设计 的 时 候 ， 要 考 上 


他 的 特性 。 对 于 


的 案例 。MySQL Cluster 是 share nothing 的 架构 ， 把 数 


， 各 个 节点 需要 互相 通信 ， 并 保持 同步 ， 代 价 就 会 越 来 越 大 ， 节 点 会 是 ; 


。 基 于 磁盘 的 Key-Value 海 量 存储 仍然 是 性 价 比 最 佳 的 方式 ， 如 果 纯 粹 想 


展 分 布 在 各 个 节点 的 内 存 中 。 


R 的 ， 这 点 和 O 


内 存 数 据 库 实 ; 


NoSQL 产 品 往往 没有 宣传 得 那么 好 ， 但 是 ，NoSQL 产 品 毕竟 代表 了 一 个 趋势 ， 它 突破 了 一 些 关系 数据 库 产品 的 限制 。[ 


对 于 大 规模 服务 的 运 维 ， 需 要 考虑 资源 的 利用 效果 。 传 统 数 


居 库 产品 已 经 发 


妇 了 很 多 年 ， 往 往 有 了 比较 成 熟 的 分 配 资源 和 控制 资源 的 方式 。 而 开源 数 


居 规 模 的 增 大 、 机 器 设备 的 增多 ， 业 务 规模 的 增 大 ， 我 们 的 人 手 不 用 增加 太 多 ， 我 们 的 服务 管理 性 仍然 优良 。 不 同 阶段 考虑 的 问题 不 太一 样 ， 当 机 器 设备 很 少时 ， 这 


居 库 产品 ， 往 往 前 期 着 和 


在 功能 实现 上 ， 可 能 会 


对 于 资源 的 消耗 ， 我 们 可 以 做 一 些 数据 库 产品 的 测试 ， 然 后 记录 一 些 相关 的 数据 指标 ， 加 以 对 比 。 例 如 ， 每 秒 的 读 / 写 次 数 、 平 均 每 个 查询 的 物理 读 、 每 秒 写 入 的 数据 、 每 秒 读 取 的 数据 等 。 如 下 列 L 


: DB-size: 一 轮 测试 后 数据 库 的 大 小 


“ Bytes-per-doc: 平均 每 条 记录 /每 个 文档 的 长 度 。DB-size 除 以 行 数 (文档 数 ) 。 


. Write-rate: 使 用 iostat 统 计 的 平均 每 秒 写 入 存储 的 字 


:Bytes-wtitten: 本 轮 测试 总 计 写 入 存储 的 字 节 数 。 


' Test-secs: 本 轮 测 试 所 耗 时 间 。 


节 数 。 


: TPS: 本 轮 测 试 的 平均 事务 吞吐 ， 各 个 数据 库 产 品 的 事务 应 该 类 似 ， 比 如 插入 1000 条 记录 /文档 。 


“Server: 所 测试 的 数据 库 产品 配置 (比如 是 否 启 用 了 压缩 ， 是 否 开 启 了 日 志 ， 日 志 的 刷新 策略 如 何等 ) 。 


下 面 我 们 以 MongoDB 为 例 ， 说 明 其 资源 利用 的 不 足 之 处 。 


1) MongoDB 对 于 内 存 资 源 的 利用 。 


MongoDB 采 用 了 MMAP 的 方式 来 操作 数据 文件 ， 这 将 导致 我 们 无 法 限制 MongoDB 进 程 所 使 


的 内 存 容量 ， 它 会 尽 可 能 地 申请 所 有 空闲 内 存 作为 自己 的 缓存 ， 虽 然 理 论 上 在 其 他 进程 需要 内 存 的 时 


目前 最 好 的 部 署 办 法 只 能 是 将 其 单独 部 署 在 一 台 服 务 器 (虚拟 机 ) 上 。MongoDB 数 据 文件 会 比 传统 数据 库存 储 大 得 多 ， 会 导致 存储 成 本 大 大 增加 。 而 在 文件 比 MySQL 大 得 多 的 情况 下 ， 缓 存 数据 好 


2) MongoDB 对 于 1/O 资 源 的 利用 。 


采用 MMAP 的 方式 其 /O 效 率 比较 差 ， 容 易 导 致 主机 达到 /OO 瓶颈， 产生 许多 毛刺 。MongoDB 使 用 的 是 缓冲 后 批量 刷新 数据 的 方式 ， 由 于 靠 操作 系统 缓存 来 刷新 数据 ， 因 此 短 时 间 内 可 能 需要 将 大 量 


根本 问题 是 ， 页 面 读 取 和 日 志 写 请 求 应 该 优先 于 脏 


页 面 的 写 回 。 传 统 的 数据 库存 储 引擎 有 专门 的 优化 ， 能 够 尽 可 能 地 减少 写 数据 对 其 他 操作 的 影响 ,但 MongoDB 仅 依赖 于 操作 系统 ， 难 以 避免 资源 


生产 实践 可 证 明 ，MongoDB 写 入 的 字 节 是 InnoDB 的 4 倍 ，TokuMx 的 20 倍 。 这 对 于 flash 设 备 的 寿命 很 不 利 。 由 于 MongoDB 的 数据 文件 比 InnoDB、TokuMX 大 得 多 ， 因 为 执行 各 种 文件 操作 也 会 


生产 环境 中 ， 有 些 人 会 选择 禁用 journal 日 志 ， 或 者 把 


志 放 到 内 存 文件 系统 (tmpfs) 上 ， 这 样 做 性 能 往往 会 得 到 提高 ， 但 这 是 以 牺牲 安全 性 为 代价 的 。 


数据 库 往往 是 |/O 密 集 型 的 负荷 ， 所 以 衡量 一 些 常 规 的 负载 /查询 消耗 的 磁盘 读 写 次 数 可 以 大 致 评估 这 个 产品 的 |/O 效 率 。 由 于 MongoDB 自 身 并 没有 一 个 缓冲 池 ， 其 主要 是 靠 文 件 系 统 来 实现 读 写 数 扩 


3) 资源 的 利用 效率 也 和 负荷 有 关 ， 由 于 InnoDB 和 TokuMX 的 表 是 聚 徐 索 引 (cluster index) 组 织 数据 的 方式 ， 数 据 是 按照 主键 来 排列 的 ， 那 么 如 果 基于 主键 查找 或 是 主键 的 小 范围 查找 ， 


4) 大 规模 运 维 的 资源 考虑 。 


一 般 来 说 MongoDB 必 须 独 占 整 个 主机 的 资源 ， 会 影 


22.2.9 ”功能 特性 实现 


响 到 上 面 的 其 他 实例 ， 无 法 充分 利 


效率 会 最 


资源 。 大 规模 部 署 MongoDB， 可 能 意味 着 硬件 资源 的 极 大 浪费 ， 磁 盘 空 间 、 内 存 资 源 可 能 都 存在 


如 下 叙述 的 是 一 些 功能 特性 的 实现 ， 仅 仅 是 一 部 分 子 集 ， 读 者 可 以 考虑 自己 所 需要 评估 的 功能 特性 。 


(1) 索引 结构 


巨大 的 浪 ; 


B 树 : 传统 的 数据 库 一 般 使 用 B 树 或 B 树 变种 的 索引 结构 ， 比 如 MySQL 使 用 的 是 B+ 树 ，SQL Server 使 用 的 是 标准 的 B-tree。 从 原理 上 来 说，B 系 列 树 在 查询 过 程 中 应 该 是 不 会 很 慢 的 ， 其 主要 问题 出 玫 


fractal 树 : TokuDB 实 现 了 这 种 索引 结构 。 这 种 索引 结构 极 大 地 减少 了 随机 写 ， 一 般 情 况 下 ， 更 新 、 插 入 、 查 询 数 据 均 可 获得 良好 的 性 能 。 但 在 顺序 插入 的 时 候 性 能 不 佳 。 


(2) dynamic schema 


dynamic schema， 也 就 是 NoSQL 产 品 的 schema-less 特 性 。MySQL 在 这 方面 不 太 具 有 优势 ，MariaDB 在 这 方面 有 一 些 改进 ，NoSQL 产 品 在 这 方面 往往 比较 有 优势 。 现 实生 产 中 ，MySQL 往 往 将 放 


(3) 锁 


锁 的 实现 ， 不 同 的 数据 库 产 品 对 于 锁 的 实现 不 尽 相 同 ， 在 这 方面 ， 传 统 数据 库 对 于 锁 的 实现 较为 复杂 和 高 效 ， 而 NoSQL 对 锁 的 实现 一 般 比 较 简单 ， 粒 度 也 更 大 。 如 MongoDB 对 于 并 发 写 入 的 锁 的 将 


MongoDB (2.4 版 本 ) 使 用 的 是 数据 库 级 的 reader-writer 锁 ， 不 支持 行 锁 ， 这 个 per-database RW-lock 粒 


度 太 大 ， 会 导致 并 发 性 大 降 ， 如 果 所 有 文档 (documents) 都 在 一 个 数据 库 (database 


你 可 以 选择 每 个 集合 (collection) 一 个 数据 库 ， 这 样 可 以 减少 互相 等 待 ， 大 大 提高 并 发 性 能 ， 但 这 种 做 法 很 奇怪 ， 不 符合 正常 的 使 用 情况 。 


就 目前 的 生产 实践 而 言 ，MongoDB 仍 然 有 较 大 的 性 能 提升 空间 ， 锁 的 实现 显然 是 MongoDB 的 重要 瓶颈 根源 之 一 。 


淮 


(4) 事 


MongoDB 不 能 严格 地 支持 事务 ， 可 以 理解 为 其 支持 单个 文档 的 事务 ， 它 并 不 支持 修改 多 个 文档 的 原子 性 操作 ， 官 方 的 解释 是 ,MongoDB 的 Documents 模 型 可 以 说 套 ， 也 许 一 个 文档 已 经 包含 了 扩 


MongoDB 的 事务 级 别 类 似 于 我 们 所 说 的 read uncommitted，read uncommitted 是 数据 库 理论 中 隔离 级 男 


(5) 文件 管理 


我 们 看 下 MongoDB 的 空间 分 配 。 


据 笔 者 的 生产 实践 ，MongoDB 占 据 的 磁盘 空间 比 MySQL 大 得 多 ， 可 以 理解 为 文档 数据 ， 如 JSON 这 种 格式 ， 


最低 的 一 种 ， 这 样 做 可 以 允许 客户 端 在 写 操作 还 没有 返回 或 还 没有 实际 提交 之 前 就 看 到 ， 


存在 许多 匈 余数 据 ， 但 空间 占用 大 得 有 些 不 正常 ， 甚 至 是 传统 数据 库 的 三 到 四 倍 ， 不 太 : 


1) MongoDB 的 每 个 库 罗 辑 上 包含 许多 集合 (collection) ， 物 理 上 存储 为 多 个 数据 文件 ， 数 据 文件 的 分 配 是 预先 分 配 的 ， 预 分 配 的 方式 可 以 减少 碎片 ， 程 序 申请 磁盘 空间 的 时 候 将 更 高 效 ， 但 Mor 


对 于 磁盘 空间 的 分 配 效 率 ， 笔 者 一 直 报 以 怀疑 的 态度 ， 如 果 本 身 有 IO 瓶颈 ， 那 么 预 分 配 一 个 2GB 的 文件 ， 将 可 能 导致 服务 出 现 严重 的 性 能 问题 。 预 分 配 文 件 ， 可 以 减少 碎片 ， 提 高 程序 申请 空间 的 冯 


2) MongoDB 的 文档 在 数据 文件 中 是 连续 存储 的 ， 这 点 不 同 于 一 些 关 系数 据 库 的 做 法 (它们 会 把 长 记录 拆 分 为 两 部 分 ， 将 溢出 的 那 部 分 单独 存放 在 男 一 处 ) ， 如 果 没 有 预 留 足够 的 空间 ， 那 么 更 新 


“如 果 有 足够 的 空间 ， 在 MongoDB 中 更 新 文档 时 ， 数 据 会 在 原 地 更 新 。 如 果 更 新 后 的 文档 大 小 大 于 已 经 分 配 的 空间 ， 那 么 文档 会 在 一 个 新 位 置 被 重 写 。MongoDB 最 终 会 重用 原来 的 空间 ， 但 这 可 


在 MongoDB 2.6 中 ， 默 认 的 空间 分 配 策略 将 是 powerOf2Sizes， 这 个 选项 从 MongoDB 2.2 开 始 就 已 经 提供 了 。 该 设置 会 将 MongoDB 分 配 的 空间 大 小 向 上 取 整 为 2 的 寡 (比如 ，2、4、8、16、32、 


以 上 是 MongoDB 官 方 的 解释 。 


显然 ， 这 种 策略 将 导致 空间 的 浪费 ， 特 别 是 对 于 导入 只 读 类 型 的 数据 。 


3) MongoDB 不 支持 数据 文件 的 压缩 ， 也 不 能 回收 空间 。 它 所 使 用 的 碎片 整理 的 策略 ， 可 能 是 在 一 个 新 的 地 方 重 写 ， 而 不 是 对 旧 的 碎片 进行 整理 和 合 


4) 不 支持 校 验 数据 页 。 页 面 校 验 对 于 数据 库 是 非常 重要 的 ， 有 助 于 识别 存储 设备 异常 、 数 据 块 异常 。 就 这 点 来 说 ，MongoDB 存 储 的 数据 可 能 会 不 安全 ， 也 许 某 一 天 会 导致 实例 崩 演 。 


(6) 支持 JOIN 等 复杂 查询 的 能 力 


一 般 的 NoSQL 产 品 都 实现 了 简单 的 查询 ,一般 不 会 实现 传统 数据 库 的 “JOIN”。 


这 点 对 于 未 来 的 商业 需求 来 说 可 能 会 导致 存在 隐患 。 因 为 如 果 数 据 是 有 关系 的 ， 那 么 就 可 能 存在 一 些 JOIN 的 需求 。 


(7) auto-sharding 


一 些 NoSQL 数 据 库 或 多 或 少 地 实现 了 此 类 特性 ， 传 统 关系 型 数据 库 不 太 容 易 实现 。 但 NoSQL 产 品 的 auto-sharding 特 性 ,仍然 需要 大 规模 生产 的 测试 验证 。 


sharding 一 般 是 指 ， 把 数据 分 片 分 布 到 不 同 的 节点 (实例 ) 。 


当 内 存 、 磁 盘 、 网 络 、CPU 等 资源 受 限制 了 ， 我 们 可 能 需 


分 片 的 一 些 要 点 具体 如 下 。 


1) 各 免 


2) NoSQL 一 般 不 能 JOIN， 而 MySQL JOIN 则 比较 难 。 


3) 各 分 片 数据 可 能 不 均衡 。 


个 节点 资源 超过 限制 : 比如 Redis 的 内 存 超过 了 物理 内 存 ， 性 能 急剧 下 降 。 比 如 ， 数 据 库 的 内 存 严重 不 够 将 导致 索引 需要 频繁 访问 磁盘 。 


4) 热点 数 


5) 节点 的 | 


6) 


居 可 能 导致 性 能 问题 ， 可 能 需要 调整 sharding key 或 算法 ， 切 割 为 更 小 的 分 片 ， 如 果 对 于 延 时 的 要 求 不 高 ， 也 可 以 利 


单 点 故 


障 : 可 以 自动 路 由 到 正常 的 节点 ， 或 者 提供 开关 降级 服务 ， 或 者 可 以 提供 一 个 只 读 的 节点 ， 保 障 部 分 功能 可 用 。 


7) 对 于 数据 的 容量 规划 还 不 是 很 清晰 ， 有 时 这 是 现实 ， 确 实 不 清楚 需求 ， 需 要 不 断 调整 。 


8) 尽量 模 


以 真实 环境 进行 压力 测试 。 


需要 说 明 的 一 点 是 : 分 片 可 以 让 失效 的 数据 控制 在 某 个 范围 内 ， 但 同时 分 片 将 导致 更 多 的 硬件 错误 。 


从 节点 扩展 读 取 的 能 力 。 


块 速 恢 复 。 比 如 Redis 在 使 用 AOF 持 久 化 方式 时 ， 加 载 磁盘 数据 到 内 存 时 可 能 会 慢 到 无 法 接受 ，MongoDB 修 复数 据 的 速度 可 能 会 很 慢 。 


MongoDB (2.4 版 本 ) 已 知 的 问题 是 auto-sharding 不 太 可 靠 ， 可 能 出 现 CPU 瓶 颈 。 即 使 NoSQL 产 品 有 auto-sharding 功 能 ， 仍 然 建议 软件 架构 师 预先 分 片 。 


我 们 往往 需要 数据 库 产品 能 够 通用 ， 这 样 它 才能 适应 未 来 不 断 增长 的 业务 需求 。MySQL 是 一 个 比较 通用 的 数据 库 ， 而 开源 产品 ， 比 如 MongoDB、Redis 都 比较 特殊 ， 更 适合 


22.2.10 ”数据 结构 


特定 的 场景 。 我 们 评 ; 


一 般 传统 的 关系 型 数据 库 更 适合 存储 一 些 结构 化 的 数据 ， 而 NoSQL 产 品 更 适合 存储 一 些 非 结构 化 的 数据 。 有 些 NoSQL 的 狂热 支持 者 认为 数据 应 该 普遍 使 用 NoSQL 产 品 ， 移 除 关系 型 数据 库 的 种 种 约 


在 数据 量 小 的 时 候 ， 使 用 传统 数据 库 一 般 就 够 用 了 ， 传 统 数据 库 往往 比较 通用 ， 但 在 数据 规模 很 大 的 时 候 ， 许 多 公司 都 采用 了 SQL 和 NoSQl 数 据 库 并 存 的 策略 。 对 于 大 规模 的 业务 ， 我 们 需要 在 开发 


22.2.11 ”选择 数据 库 产品 的 建议 


如 下 是 笔者 对 于 数据 库 产品 选择 的 一 些 建议 。 


1) 应 该 随 着 大 流 于 


uy 


我 们 先 看 一 些 业 内 公司 的 选择 ， 比 如 Facebook、Twitter， 大 部 分 的 应 用 使 用 的 仍然 是 MySQL 加 Memcached。Facebook 的 MySQL 主 要 用 来 存储 Key-Value 数 据 ， 在 2008 年 ， 就 已 经 有 了 1800 台 


所 以 ， 我 们 应 该 跟着 大 流 走 ， 多 研究 NoSQL 产 品 ， 在 业内 已 经 有 了 比较 成 功 的 应 用 之 后 ， 再 考虑 使 用 NoSQL 产 品 。 比 如 ， 新 浪 微 博大 规模 使 用 Redis， 其 运 维 能 力 很 强 ， 就 是 一 个 值得 借鉴 的 案例 。 


2) 选择 产品 有 两 个 决定 性 的 因素 : 是 否 有 稳定 的 团队 维护 ， 开 源 社区 是 否 活跃 。 目 前 的 现实 是 大 部 分 的 NoSQL 产 品 都 是 县 花 一 现 。 而 那些 趋势 较 好 的 产品 大 都 满足 这 两 个 条 件 ， 比 如 Redis、Meonk 


对 于 开源 产品 ， 内 部 有 熟悉 源码 的 团队 也 是 必需 的 ， 即 使 社区 再 活跃 也 很 难 帮 你 马上 定位 到 问题 所 在 ， 有 时 候 ， 你 不 能 等 待 官方 发 布 补丁 ， 你 必须 自己 解决 问题 ， 现 实 中 ， 许 多 公司 的 解决 方案 往往 


3) NoSQL 主 要 是 为 了 满足 扩展 性 而 出 现 的 ， 为 了 海量 数据 出 现 的 ， 它 不 是 一 种 通用 的 数据 库 产 品 。 


4) 对 于 应 用 场景 的 界定 ， 应 该 回 到 数据 的 本 身上 ， 看 看 我 们 的 数据 是 否 方便 查询 、 管 理 和 维护 ， 一 般 来 说 目前 的 NoSQL 产 品 在 这 点 上 比较 薄弱 ， 容 易 被 滥用 ， 如 果 数 据 本 身 是 存在 关系 的 ， 比 如 基 


5) 关注 基础 运 维 指标 。 


NosQL 产 品 的 部 分 初衷 也 许 是 认为 这 些 数据 存储 起 来 很 方便 ， 再 也 不 需要 什么 维护 人 员 了 ， 再 也 不 用 面 对 MySQL 修 改 表 结 构 的 痛苦 过 程 了 ， 但 事与愿违 。 许 多 人 在 谈论 CAP， 但 是 ， 如 果 稳 定性 、; 


6) NoSQL 产 品 的 安全 也 是 一 个 因素 ， 很 多 时 候 ， 我 们 必须 相信 内 网 是 可 靠 的 。 如 果 这 个 产品 暴露 于 外 网 ， 风 险 会 更 大 ， 软 件 防火 墙 的 防 攻击 能 力 欠 佳 。 如 果 你 碰 到 对 安全 不 做 考虑 的 一 些 NoSQL 产 


7) 不 要 轻信 宣传 ， 许 多 信息 ， 往 往 出 于 公司 的 广告 宣传 ， 或 者 编辑 的 博取 “眼球 效应 ”， 往 往 不 能 代表 实际 的 使 用 情况 。 一 些 产品 ， 对 外 声称 有 许多 公司 在 用 ， 但 也 许 只 是 某 个 公司 的 一 个 很 小 的 


证 


总 之 ，NoSQL 产 品 ， 是 为 了 特定 的 问题 而 出 现 的 ， 虽 然 有 各 种 NoSQL 产 品 可 以 支持 单机 使 用 ，Oracle 也 发 布 了 memcache plugin 响 应 需求 ， 但 如 果 在 项 目 中 普遍 使 用 ， 成 本 是 会 大 大 增加 的 。 目 部 


现实 的 场景 是 ， 许 多 公司 的 应 用 ， 即 使 架构 再 烂 ， 也 不 会 成 为 性 能 问题 ， 也 可 以 在 后 期 解决 ， 但 如 果 你 使 用 了 处 于 测试 阶段 的 NoSQL 产 品 ， 可 能 一 开始 就 会 让 你 感到 痛苦 ， 你 还 得 时 刻 面临 未 知 的 区 


现实 的 问题 是 ， 我 们 有 没有 海量 的 数据 ， 我 们 有 没有 可 能 碰 到 伸缩 性 的 问题 ， 我 们 的 数据 是 否 真 的 易于 管理 和 维护 ?为 什么 许多 应 用 NoSQL 产 品 的 公司 绝 大 部 分 的 应 用 仍然 运行 在 传统 的 MySQLj 加 1 


Oi NoSQL 产 品 往往 作为 MySQL 的 补充 ， 在 许多 项 目 中 被 使 用 ， 甚 至 在 一 些 项 目 中 作为 主要 存储 。MySQL DBA 不 应 该 局 限于 MySQL， 也 应 该 熟悉 其 他 的 数据 库 产品 。 本 章 为 读者 介绍 了 选择 N 
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